アドビが開発中の未来、わくわくする11のテクノロジー
クリエイティビティ・カンファレンス「Adobe MAX 2016」から、未来に実現するかもしれないアドビが研究開発中の新機能をちらっと見せるコーナー「Sneaks」の模様を紹介します。
Sneaksでは、プレゼンに慣れていないアドビ社内の普通のエンジニアやデザイナーが、大勢の観客がいるステージに出てきて、ときに司会者にいじられながら開発中の11個の技術を紹介します。ステージに登場するのは社内の厳しい選考を勝ち抜いてきた選りすぐりの技術だそうです。観客にはお酒が配られているのもあって、すごい技術だと叫ぶような歓声が上がります。
1. 色やテクスチャを手描きでリアルタイムに作る、Stylit
手描きで陰影のついた球体を描くと、なんとそれが3Dオブジェクトにリアルタイムに反映されます。
アプリに用意されているいくつかの3Dオブジェクトの中から恐竜を選択します。続いて、マーカー付きの紙に好きな画材で円を描きます。するとその色とタッチが恐竜の輪郭線に反映されます。
https://blog.adobe.com/media_0803a864b276e4d41d836cc3d8b86bac628d365f.gif
円の内側を塗れば、その通りに陰影がつきます。
https://blog.adobe.com/media_4ada34269ed95ad196500076110910e4afe5a4f7.gif
ただの塗り絵じゃないところが凄い。なんとハイライトやシャドウなども含めての「陰影」の指定なのです。
https://blog.adobe.com/media_78fca63fe469a8c91736574b561e5cab9f818d79.gif
最終的にはこのように仕上がります。
https://blog.adobe.com/media_e650b87e37f8111778b603e47871d0c2b6b94cdc.gif
マウスやタブレットではなく、好きな紙にパステルや色鉛筆、水彩など好きな画材を使って描くというのが素敵ですね。
https://blog.adobe.com/media_0ac2b4293f32e18037f2765108b31260ed340e5e.gif
この技術は、http://stylit.org/ から実際にソフトウェアをダウンロードして試せます。必要なのはWindowsパソコンとカメラだけです。
2. 音楽に合わせて動画を編集する、Syncmaster
音楽の盛り上がるところ、切り替わるところを自動的に見つけて、動画編集を助ける技術です。
この技術は、まず音楽を高・中・低の3つの音域に分けて分析し、自動的に「ポイント」を作ります。
https://blog.adobe.com/media_c9f279483a87220ac376af29eb1fb0aa34bd82b3.gif
動画クリップをタイムラインで編集すると、さきほどのポイントがガイドとなってスナップされるので、音楽の進行にぴったり合った動画がつくれます。
https://blog.adobe.com/media_0ac92e1f0d3283c8b9e3f2a0b13853b161aa5121.gif
デモでは単なるカット編集だけではなく、音楽のリズムに合わせてさまざまなエフェクトが変化する編集機能も紹介されていました。
3. ページ内の画像の色調をワンクリックで合わせる、ColorChameleon
このようなページデザインがあったとして、そこに買ってきたストックフォトをレイアウトしたとします。当然、写真の色調はばらばらですが、Photoshopで一枚ずつ補正していては非常に時間がかかります。
https://blog.adobe.com/media_00af7a910f409ef657737098da8a23fda4c87f28.gif
この技術は、ワンクリックで自動的に色調を合わせてくれます。
https://blog.adobe.com/media_10f7c3b90fbcb18140361aded4ece55b12ddad84.gif
写真の中にあるデザインのキーカラーに近い色を見つけて写真を補正してくれます。
https://blog.adobe.com/media_f03e4117c86cbb6e2036ede8fbd44b73525270fb.gif
4. どんな動画でもループ動画にしてしまう、LoopWelder
短い動画素材しかないけれど、どうしてもある長さ流したいことってありますよね。そんなときに自動的にループ動画を作ってくれる技術です。
レコードの針が動いているようなどうしたってループさせられないような動画でも、この機能を使うとループ動画に仕上がります。
https://blog.adobe.com/media_c4fc4d4c5cdbb8b8fe421f5e95e321850613da75.gif
動画の中でループできるポイントを自動的に解析し、動画を少しずつ延ばしながら、最終的には全体がループするように仕上げてくれます。
https://blog.adobe.com/media_853eaacecd60d263f8e7b92e01f06c8f78e6bdcc.gif
5. どこに何が写っているか指示するだけで画像を探してくれる、ConceptCanvas
世界共通の悩みとして、いい加減なラフというものがあります。その指示に合うようなストックフォトを見つけるには手間がかかります。この機能はなんと、ラフの意味を理解して、Adobe Stockから画像を検索してくれます。
https://blog.adobe.com/media_192a74ed8ee053883eb11dac9bf32f0a730775fa.gif
「いい加減なラフ」による指示は万国共通
Photoshop上でざっくりとした塗りを描きます。レイヤー名を「person（人）」に変更。準備はこれだけです。すぐに左端に人が写っているストックフォトが検索され、リストで表示されます。会場からは驚きやらため息やら、とにかくすごい反応がありました。
https://blog.adobe.com/media_bdf23af5d9718447b1634ee86a487671def403b9.gif
右のほうに候補の写真が表示されている
こんな検索ができれば、無茶なラフだってすぐにデザイン案に仕上げられますね。
https://blog.adobe.com/media_0ebcc551f9b7b0d9696400859554f2c50a37ff5f.gif
これだけではないのです。左側にPerson（人）、その右下にDog（犬）をざっくり描いて検索すれば、まさにその通りの写真が出てきます。
https://blog.adobe.com/media_c0261ad5e51656c1ecb3f2bc07234063aae470da.gif
もっと組み合わせて、背景にWater（水）があって、Person（人）とUmbrella（傘）の領域を指定すれば、ほらこの通りです。
https://blog.adobe.com/media_472a5e47bed683002022a00f6a8762845ae890be.gif
ストックフォトなんてどのサービスも一緒と思っていたら、Adobe Stockはどうやら一歩先を行きそうですね。これはもう今すぐにでも使いたい機能です。基調講演で発表されたマシンラーニングのエンジン「Adobe Sensei」の具体的な実現例ではないでしょうか。
6. 写真のトレースをもっと簡単にする、InterVector
https://blog.adobe.com/media_ec5f5eaab7b5746e7c0205d711a44ad5c929f875.gif
もう締切まで時間がないけど、どうしても手元にある豚の人形をイラストにしなければならない。あなたならどうしますか。モバイルアプリAdobe Capture CCや、Illustrator CCでトレースできるかもしれませんが、思ったとおりの線を作るのはなかなか大変です。
https://blog.adobe.com/media_738d146ed4ad82c9bf480d1cd51f3e49b6c4d3a0.gif
Adobe Captureで閾値を調整しても、輪郭だけ抽出するのは難しい
この機能は分割、結合、スムージングを、なぞるだけでいい感じに仕上げてくれます。
https://blog.adobe.com/media_c53b1c56ff905a1892cefc406049c0d80818e22d.gif
ここの線が欲しいな、という部分をなぞるだけ
https://blog.adobe.com/media_b6b5ba901f4d6177b235a7059fe03a719c434fa2.gif
希望する線があらわれる
https://blog.adobe.com/media_61dc8ad2d830e0da9df11241c3e30851c2b15ec5.gif
面倒な作業をこれまでより楽しくできそうですね。
7. 絵の具を塗り重ねるように描ける、Wetbrush
絵筆の動きをシミュレートして、絵の具の塗り重ねを3Dで記録する技術です。タブレットでペンを動かすと、画面に半透明の絵筆が表示されます。
https://blog.adobe.com/media_779a6962a84e1a0a5f13844bf14a867c724e3b4d.gif
筆先の向きや力の加減が分かるので、塗り重ねていけば、油絵のように凹凸が表現されます。3Dデータなので、後から光源も変えられます。もちろんそのまま3Dプリントすることもできます。
https://blog.adobe.com/media_9edc4b5579119ff403eaaa6cb1be23b2737e0b88.gif
着色表示をOFFにして、凹凸の様子だけを表示した状態
これまでも水彩やパステルの絵は、コンピュータでもかなり近い感じが描けていましたが、アクリルや油絵の感じを出せるようになるとは驚きですね。
8. 画像のレイアウトを自動的に調整する、QuickLayout
複数の画像が敷き詰められたようなレイアウトを作るのは意外と大変な作業です。
https://blog.adobe.com/media_46f2c86025e0e1e1c2e80f72d6b40f861dca62f1.gif
こういうレイアウトに画像を配置、調整するのは結構大変
この技術は、それを自動的に作成、調整します。画像をドラッグして置きたい場所にドロップするだけで配置できます。
https://blog.adobe.com/media_a55ac4de9a3149fffad711d6b9ba11cf35a99893.gif
右半分に置きたいなと思ったらこの状態でドロップすればいい
https://blog.adobe.com/media_e971d6f15e5a6e0ef4d76099cae1f20183907c6b.gif
どれか1つの画像を調整すれば他の画像のサイズや位置が自動で調整されます。
https://blog.adobe.com/media_c50c7da613c18840c2799695f620523debe83051.gif
9. 空がいまいちな写真の空だけ交換する、SkyReplace
写真の空だけを違う写真の空と置き換える機能です。
きれいな青空の日に写真が撮れればよいのですが、なかなかそうもいきませんよね。曇りだと空は真っ白になってしまいます。
https://blog.adobe.com/media_044fe3f33470ca56319d7fd7b8ef5c53c63ae792.gif
こんな空だったらいいのに、という写真が別にあったとします。
https://blog.adobe.com/media_61a8c7d62a5f49436c4dca7177eba5bea973bc1d.gif
この技術は、ワンクリックで別の写真の空の部分と置き換えてくれます。ほらこの通り。なんという魔法でしょう。
https://blog.adobe.com/media_7943323de720d8481a424060edf0623f3aa89ff9.gif
しかも置き換えた空に合わせて他の部分の色調も自動で補正します。
https://blog.adobe.com/media_f6e235b384eaf1bb1b5b70c7de387161b1a4fb33.gif
空に合わせて、芝生や人の色調が補正されている
こんな曇りで真っ白になってしまった空でもこの技術なら変えてしまいます。
https://blog.adobe.com/media_8b2dd7a6a1a5d7b637d73628fc915c5b1bf75d28.gif
どんな空にも置き換えられて、しかも建物の色もそれっぽく補正してしまいます。
https://blog.adobe.com/media_9cb37326a3c9c60e61d02cd0077c647aeed71aa6.gif
ディープラーニングを使っているそうです。これもAdobe Senseiのパワーですね。
10. テキストを編集するとその人の声でしゃべってくれる、VoCo
会話やナレーションの録音、ちょっと言い間違えただけなのに、また録音をやり直すのは無駄ですよね。どうにかならならないのかと思っていたみなさん、もう未来が来てしまいました。この技術は、そんなスピーチを、まるでPhotoshopで画像を切り貼りするように修正してしまう機能です。
https://blog.adobe.com/media_bfa98c9d55ac335812acfdc13cc76f522b57e745.gif
オリジナルはmy dogs and my wifeという語順
音声から認識されたテキストの中の単語を入れ替えると、語順が入れ替わった状態で自然に再生されます。
https://blog.adobe.com/media_62cfa35a771fdd8e4ecb5c69233ddba3582df624.gif
my wife and my dogsという語順に変えても自然な音声で再生される
https://blog.adobe.com/media_d7be9502db88e9254a68ee2fba9a5478288b5ddb.gif
元の文章に存在しないJordan three timesという文章も自然な音声で再生された
なんと、その文章に存在しない単語も、テキストを入力すれば、その人の声でなめらかに再生されます。もうこれは魔法です。会場からの拍手がなりやみません。なんでも20分間しゃべってもらうだけでその人の特徴をつかむのに十分なサンプルがとれるようです。
政治の世界などで悪用されると大変なことが起きそうな気がしますね。「本物」の音声を識別するために、ウォーターマーク（電子的な透かし）を入れる技術も研究しているとか。いずれにしてもみんなが待っていた夢の新技術であることに間違いありません。
11. VRの世界から全く出ずに映像編集できる、CloverVR
PremiereでVRビデオを作るとします。でもヘッドマウントディスプレイを頭に付けたり外したりしながら編集するのは大変ですよね。
https://blog.adobe.com/media_816a0a221b0dfadc2bfa33adb8865b59505d1aef.gif
この技術は、ヘッドマウントディスプレイを付けたまま、360度確認しながら、VRの世界の中で映像を編集できる機能です。
https://blog.adobe.com/media_c9cfed446c2c8ce0ef6abb0d8f1d3ee5a4fd2718.gif
VRの世界にタイムラインが登場
VRの世界から出ずに編集するので、編集者はこんな感じで仕事をすることになります。
https://blog.adobe.com/media_b059175032b0773958ed3075d4cfa5b3f9ab54ec.gif
これが未来の動画編集者の姿
タイムラインでカットをつなぐポイントを調整するだけでなく、2つのVR動画の向きを合わせることもできます。もうVRの世界から出る必要はありません。
https://blog.adobe.com/media_e8705fe44fbcb7d95023c208fc0672820a8670c6.gif
いかがでしたか？技術も凄いですが、着眼点も面白いですよね。アドビが見せてくれるクリエイティビティの未来に、会場の1万人近い人達がわくわくしました。いくつかは本当に製品に組み込まれて、今はまだ単調で辛い作業も楽しい作業に変えてくれるかもしれません。楽しみですね。