アドビが開発中の未来、わくわくする11のテクノロジー

クリエイティビティ・カンファレンス「Adobe MAX 2016」から、未来に実現するかもしれないアドビが研究開発中の新機能をちらっと見せるコーナー「Sneaks」の模様を紹介します。

Sneaksでは、プレゼンに慣れていないアドビ社内の普通のエンジニアやデザイナーが、大勢の観客がいるステージに出てきて、ときに司会者にいじられながら開発中の11個の技術を紹介します。ステージに登場するのは社内の厳しい選考を勝ち抜いてきた選りすぐりの技術だそうです。観客にはお酒が配られているのもあって、すごい技術だと叫ぶような歓声が上がります。

1. 色やテクスチャを手描きでリアルタイムに作る、Stylit

手描きで陰影のついた球体を描くと、なんとそれが3Dオブジェクトにリアルタイムに反映されます。

アプリに用意されているいくつかの3Dオブジェクトの中から恐竜を選択します。続いて、マーカー付きの紙に好きな画材で円を描きます。するとその色とタッチが恐竜の輪郭線に反映されます。

https://blog.adobe.com/media_0803a864b276e4d41d836cc3d8b86bac628d365f.gif

円の内側を塗れば、その通りに陰影がつきます。

https://blog.adobe.com/media_4ada34269ed95ad196500076110910e4afe5a4f7.gif

ただの塗り絵じゃないところが凄い。なんとハイライトやシャドウなども含めての「陰影」の指定なのです。

https://blog.adobe.com/media_78fca63fe469a8c91736574b561e5cab9f818d79.gif

最終的にはこのように仕上がります。

https://blog.adobe.com/media_e650b87e37f8111778b603e47871d0c2b6b94cdc.gif

マウスやタブレットではなく、好きな紙にパステルや色鉛筆、水彩など好きな画材を使って描くというのが素敵ですね。

https://blog.adobe.com/media_0ac2b4293f32e18037f2765108b31260ed340e5e.gif

この技術は、http://stylit.org/ から実際にソフトウェアをダウンロードして試せます。必要なのはWindowsパソコンとカメラだけです。

2. 音楽に合わせて動画を編集する、Syncmaster

音楽の盛り上がるところ、切り替わるところを自動的に見つけて、動画編集を助ける技術です。
この技術は、まず音楽を高・中・低の3つの音域に分けて分析し、自動的に「ポイント」を作ります。

https://blog.adobe.com/media_c9f279483a87220ac376af29eb1fb0aa34bd82b3.gif

動画クリップをタイムラインで編集すると、さきほどのポイントがガイドとなってスナップされるので、音楽の進行にぴったり合った動画がつくれます。

https://blog.adobe.com/media_0ac92e1f0d3283c8b9e3f2a0b13853b161aa5121.gif

デモでは単なるカット編集だけではなく、音楽のリズムに合わせてさまざまなエフェクトが変化する編集機能も紹介されていました。

3. ページ内の画像の色調をワンクリックで合わせる、ColorChameleon

このようなページデザインがあったとして、そこに買ってきたストックフォトをレイアウトしたとします。当然、写真の色調はばらばらですが、Photoshopで一枚ずつ補正していては非常に時間がかかります。

https://blog.adobe.com/media_00af7a910f409ef657737098da8a23fda4c87f28.gif

この技術は、ワンクリックで自動的に色調を合わせてくれます。

https://blog.adobe.com/media_10f7c3b90fbcb18140361aded4ece55b12ddad84.gif

写真の中にあるデザインのキーカラーに近い色を見つけて写真を補正してくれます。

https://blog.adobe.com/media_f03e4117c86cbb6e2036ede8fbd44b73525270fb.gif

4. どんな動画でもループ動画にしてしまう、LoopWelder

短い動画素材しかないけれど、どうしてもある長さ流したいことってありますよね。そんなときに自動的にループ動画を作ってくれる技術です。

レコードの針が動いているようなどうしたってループさせられないような動画でも、この機能を使うとループ動画に仕上がります。

https://blog.adobe.com/media_c4fc4d4c5cdbb8b8fe421f5e95e321850613da75.gif

動画の中でループできるポイントを自動的に解析し、動画を少しずつ延ばしながら、最終的には全体がループするように仕上げてくれます。

https://blog.adobe.com/media_853eaacecd60d263f8e7b92e01f06c8f78e6bdcc.gif

5. どこに何が写っているか指示するだけで画像を探してくれる、ConceptCanvas

世界共通の悩みとして、いい加減なラフというものがあります。その指示に合うようなストックフォトを見つけるには手間がかかります。この機能はなんと、ラフの意味を理解して、Adobe Stockから画像を検索してくれます。

https://blog.adobe.com/media_192a74ed8ee053883eb11dac9bf32f0a730775fa.gif

「いい加減なラフ」による指示は万国共通

Photoshop上でざっくりとした塗りを描きます。レイヤー名を「person(人)」に変更。準備はこれだけです。すぐに左端に人が写っているストックフォトが検索され、リストで表示されます。会場からは驚きやらため息やら、とにかくすごい反応がありました。

https://blog.adobe.com/media_bdf23af5d9718447b1634ee86a487671def403b9.gif

右のほうに候補の写真が表示されている

こんな検索ができれば、無茶なラフだってすぐにデザイン案に仕上げられますね。

https://blog.adobe.com/media_0ebcc551f9b7b0d9696400859554f2c50a37ff5f.gif

これだけではないのです。左側にPerson(人)、その右下にDog(犬)をざっくり描いて検索すれば、まさにその通りの写真が出てきます。

https://blog.adobe.com/media_c0261ad5e51656c1ecb3f2bc07234063aae470da.gif

もっと組み合わせて、背景にWater(水)があって、Person(人)とUmbrella(傘)の領域を指定すれば、ほらこの通りです。

https://blog.adobe.com/media_472a5e47bed683002022a00f6a8762845ae890be.gif

ストックフォトなんてどのサービスも一緒と思っていたら、Adobe Stockはどうやら一歩先を行きそうですね。これはもう今すぐにでも使いたい機能です。基調講演で発表されたマシンラーニングのエンジン「Adobe Sensei」の具体的な実現例ではないでしょうか。

6. 写真のトレースをもっと簡単にする、InterVector

https://blog.adobe.com/media_ec5f5eaab7b5746e7c0205d711a44ad5c929f875.gif

もう締切まで時間がないけど、どうしても手元にある豚の人形をイラストにしなければならない。あなたならどうしますか。モバイルアプリAdobe Capture CCや、Illustrator CCでトレースできるかもしれませんが、思ったとおりの線を作るのはなかなか大変です。

https://blog.adobe.com/media_738d146ed4ad82c9bf480d1cd51f3e49b6c4d3a0.gif

Adobe Captureで閾値を調整しても、輪郭だけ抽出するのは難しい

この機能は分割、結合、スムージングを、なぞるだけでいい感じに仕上げてくれます。

https://blog.adobe.com/media_c53b1c56ff905a1892cefc406049c0d80818e22d.gif

ここの線が欲しいな、という部分をなぞるだけ

https://blog.adobe.com/media_b6b5ba901f4d6177b235a7059fe03a719c434fa2.gif

希望する線があらわれる

https://blog.adobe.com/media_61dc8ad2d830e0da9df11241c3e30851c2b15ec5.gif

面倒な作業をこれまでより楽しくできそうですね。

7. 絵の具を塗り重ねるように描ける、Wetbrush

絵筆の動きをシミュレートして、絵の具の塗り重ねを3Dで記録する技術です。タブレットでペンを動かすと、画面に半透明の絵筆が表示されます。

https://blog.adobe.com/media_779a6962a84e1a0a5f13844bf14a867c724e3b4d.gif

筆先の向きや力の加減が分かるので、塗り重ねていけば、油絵のように凹凸が表現されます。3Dデータなので、後から光源も変えられます。もちろんそのまま3Dプリントすることもできます。

https://blog.adobe.com/media_9edc4b5579119ff403eaaa6cb1be23b2737e0b88.gif

着色表示をOFFにして、凹凸の様子だけを表示した状態

これまでも水彩やパステルの絵は、コンピュータでもかなり近い感じが描けていましたが、アクリルや油絵の感じを出せるようになるとは驚きですね。

8. 画像のレイアウトを自動的に調整する、QuickLayout

複数の画像が敷き詰められたようなレイアウトを作るのは意外と大変な作業です。

https://blog.adobe.com/media_46f2c86025e0e1e1c2e80f72d6b40f861dca62f1.gif

こういうレイアウトに画像を配置、調整するのは結構大変

この技術は、それを自動的に作成、調整します。画像をドラッグして置きたい場所にドロップするだけで配置できます。

https://blog.adobe.com/media_a55ac4de9a3149fffad711d6b9ba11cf35a99893.gif

右半分に置きたいなと思ったらこの状態でドロップすればいい

https://blog.adobe.com/media_e971d6f15e5a6e0ef4d76099cae1f20183907c6b.gif

どれか1つの画像を調整すれば他の画像のサイズや位置が自動で調整されます。

https://blog.adobe.com/media_c50c7da613c18840c2799695f620523debe83051.gif

9. 空がいまいちな写真の空だけ交換する、SkyReplace

写真の空だけを違う写真の空と置き換える機能です。
きれいな青空の日に写真が撮れればよいのですが、なかなかそうもいきませんよね。曇りだと空は真っ白になってしまいます。

https://blog.adobe.com/media_044fe3f33470ca56319d7fd7b8ef5c53c63ae792.gif

こんな空だったらいいのに、という写真が別にあったとします。

https://blog.adobe.com/media_61a8c7d62a5f49436c4dca7177eba5bea973bc1d.gif

この技術は、ワンクリックで別の写真の空の部分と置き換えてくれます。ほらこの通り。なんという魔法でしょう。

https://blog.adobe.com/media_7943323de720d8481a424060edf0623f3aa89ff9.gif

しかも置き換えた空に合わせて他の部分の色調も自動で補正します。

https://blog.adobe.com/media_f6e235b384eaf1bb1b5b70c7de387161b1a4fb33.gif

空に合わせて、芝生や人の色調が補正されている

こんな曇りで真っ白になってしまった空でもこの技術なら変えてしまいます。

https://blog.adobe.com/media_8b2dd7a6a1a5d7b637d73628fc915c5b1bf75d28.gif

どんな空にも置き換えられて、しかも建物の色もそれっぽく補正してしまいます。

https://blog.adobe.com/media_9cb37326a3c9c60e61d02cd0077c647aeed71aa6.gif

ディープラーニングを使っているそうです。これもAdobe Senseiのパワーですね。

10. テキストを編集するとその人の声でしゃべってくれる、VoCo

会話やナレーションの録音、ちょっと言い間違えただけなのに、また録音をやり直すのは無駄ですよね。どうにかならならないのかと思っていたみなさん、もう未来が来てしまいました。この技術は、そんなスピーチを、まるでPhotoshopで画像を切り貼りするように修正してしまう機能です。

https://blog.adobe.com/media_bfa98c9d55ac335812acfdc13cc76f522b57e745.gif

オリジナルはmy dogs and my wifeという語順

音声から認識されたテキストの中の単語を入れ替えると、語順が入れ替わった状態で自然に再生されます。

https://blog.adobe.com/media_62cfa35a771fdd8e4ecb5c69233ddba3582df624.gif

my wife and my dogsという語順に変えても自然な音声で再生される

https://blog.adobe.com/media_d7be9502db88e9254a68ee2fba9a5478288b5ddb.gif

元の文章に存在しないJordan three timesという文章も自然な音声で再生された

なんと、その文章に存在しない単語も、テキストを入力すれば、その人の声でなめらかに再生されます。もうこれは魔法です。会場からの拍手がなりやみません。なんでも20分間しゃべってもらうだけでその人の特徴をつかむのに十分なサンプルがとれるようです。

政治の世界などで悪用されると大変なことが起きそうな気がしますね。「本物」の音声を識別するために、ウォーターマーク(電子的な透かし)を入れる技術も研究しているとか。いずれにしてもみんなが待っていた夢の新技術であることに間違いありません。

11. VRの世界から全く出ずに映像編集できる、CloverVR

PremiereでVRビデオを作るとします。でもヘッドマウントディスプレイを頭に付けたり外したりしながら編集するのは大変ですよね。

https://blog.adobe.com/media_816a0a221b0dfadc2bfa33adb8865b59505d1aef.gif

この技術は、ヘッドマウントディスプレイを付けたまま、360度確認しながら、VRの世界の中で映像を編集できる機能です。

https://blog.adobe.com/media_c9cfed446c2c8ce0ef6abb0d8f1d3ee5a4fd2718.gif

VRの世界にタイムラインが登場

VRの世界から出ずに編集するので、編集者はこんな感じで仕事をすることになります。

https://blog.adobe.com/media_b059175032b0773958ed3075d4cfa5b3f9ab54ec.gif

これが未来の動画編集者の姿

タイムラインでカットをつなぐポイントを調整するだけでなく、2つのVR動画の向きを合わせることもできます。もうVRの世界から出る必要はありません。

https://blog.adobe.com/media_e8705fe44fbcb7d95023c208fc0672820a8670c6.gif

いかがでしたか?技術も凄いですが、着眼点も面白いですよね。アドビが見せてくれるクリエイティビティの未来に、会場の1万人近い人達がわくわくしました。いくつかは本当に製品に組み込まれて、今はまだ単調で辛い作業も楽しい作業に変えてくれるかもしれません。楽しみですね。