過去最高の盛り上がりを見せた SNEAKS で紹介された11の未来 #AdobeMAX

※11月8日(現地時間)更新 各デモ末尾に動画を追加しました。

Adobe MAX 最大の見どころと言われる2日目夕方から行われるSNEAKSは、Adobeが研究開発している将来搭載されるかもしれないフィーチャーが紹介されます。「またまたーそんなのイベント用に仕込まれたネタでしょ？」と思われるかもしれません。しかしこのデモは本当に開発中の機能で、デモ中にハングアップしたりうまく動かないこともあります。何が起きるかわからない。何が紹介されるかもわからない。基調講演とはまた違ったドキドキと興奮がSNEAKSの魅力でもあります。

今年のゲストはジョン・ムレイニー。現地では知られたコメディアンです。この記事を読まれている方ならひょっとしたら声は知っているかもしれません。というのも、昨年公開された映画、スパイダーマン スパイダーバースに出てくるスパイダーハムの声優を彼が務めていました。

冒頭では彼が出演しているコメディなどのシーンが紹介されたのですが、お客さんにはドッカンドッカンとウケており、会場の興奮はすでに最高潮。

それでは長々と前置きしていても仕方ありません。デモを紹介していきましょう！
各デモの解説のあとに公式動画を埋め込みました。Adobe Magicを是非その目で確かめてください。

集合写真をいい感じに合成してくれる PROJECT ALL IN

#ALLINSNEAK

家族写真を撮っていると悩みのタネになるのが、カメラマンどうやって映るの問題があります。三脚を持ち歩くのは大変だし、現地で誰かに撮ってもらうとしても誰もいない森の中だったら？手っ取り早くカメラマンも写真の中に収められる技があればいいのに。

その悩みをPROJECT ALL INが解決します。

この機能はまず合成したい被写体が写っている写真を読み込ませ、誰を合成させるのかを選択範囲で指定します。内容をSenseiの力によって解析し、今回は合成するべき人が一人であることと、その切り抜き写真が生成されました。

次に合成を行う先の写真を用意します。同じようにSenseiが内容を解析し、先程解析した結果の人物がいないと判定、うまい具合に合成した写真を生み出しました。

もちろん、複雑な判定もできるようになっています。次のデモでは、家族写真を合成するというミッション。

素材となる写真には、どちらにも同じ子供が写り込んでいます。ここでも同じように合成したい人物を指定して解析してから合成先の画像を読み込ませます。すると今度は、両方写っている子供はうまく除外され、合成が正しく行われました。

インタビューでよくある無駄な部分をサクッとカット PROJECT SOUND SEEK

#PROJECTSOUNDSEEK

インタビューを収録したときによくあるのが、言葉を考えていたりするときの「あー」「うー」「えー」という中身のない声。PROJECTSOUNDSEEKはサンプルとなる音声を指定するだけで、一連の音声から同一の「あー」音を取り除いてくれます。

検出したいサンプルを選択すると、同じ音の部分がピークとして検出されました。これを削除すると…

「あー」音が削除されてトリミングされた音声を作ることができました。
もちろん、「あー」音だけではありません。言語が異なっていても検出させたい部分を指定すれば同じように消すこともできるし、逆に抽出することもできます。

今回は異なる言語の繰り返し部分を検出して、これを抽出してみます。

きれいに抽出されました。

人の声だけではありません。急かす仲間がクラクションを鳴らし続けている裏で留守電を録音しているようなシチュエーションでは、クラクションの音をきれいにカットしてくれました。

デモでは比較的短い音声で行われていたので「これくらいの長さだったら手でやったほうがマシ」と思われるかもしれませんが、1時間以上に及ぶインタビューなどで同じ作業をすることを考えると、気が遠くなりますよね。

キャラクターリップシンクの未来系 PROJECT SWEET TALK

＃SWEETTALKSNEAK

Character Animatorの機能の一つにリップシンクがあります。喋っている音声に合わせて口などを動かしてくれるというものです。これはこれで素晴らしい機能ですが、Character Animatorには動かしたいパーツをそれぞれレイヤーに分けた素材を用意する必要がありました。

PROJECT SWEET TALK はレイヤーに分かれていない紙に描かれたような素材でも、リップシンクして動かすことができるようになります。

一枚絵をどうやって動かしているのかは、Photoshopのパペットワープに使われていそうなメッシュが表示されていましたから、キャラクターの目や口、輪郭を検出してメッシュを生成し、リップシンクの情報をつないで口を動かすという感じに見えました。

紙に描いた落書きでも

有名画家の肖像画でもご覧の通り。

ここでジョンムレイニーがデモすることに。使い方を簡単にレクチャーされて音声を録音します。

ジョンの声が大きすぎたりしてうまくリテイクできないトラブルがありましたが、なんとか予め作られていたジョン風イラストに音声を合成すると…喋り始めました！

一枚絵をうまく動かして喋らせるという表現は過去にもありましたしCMなどでも活用されていました。実際に作るにはかなりの労力が必要でしたが、この機能がもし実装されたなら、そのような苦労はもう過去のものになるのかもしれません。

モーショントラックを超手軽に PROJECT PRONTO

#PROJECTPRONTO

AfterEffectsでよく使われる機能にモーショントラッキングがあります。スマホで撮影された動画に何らかの合成を施し、カメラの動きに合わせて追従させるようにすることでARのような動画も作ることができます。ところが、便利なモーショントラックでも凝ったことをすると操作が大変になりがち。タイムライン職人でもない限りARのような動画は気軽には作れないのが現状です。

PROJECT PRONTOは予めスマホなどで撮影した動画の動きを検出して、３Dオブジェクトを動画上に合成、違和感がないように動きに追従させてくれるというものです。

デモでは元となる動画内に予めインタラクティブな操作をしているようなジェスチャーをいれておき、それにタイミングを合わせて３Dオブジェクトを動かすことで、あたかもARのインタラクティブコンテンツを見せられているような動画が完成していました。

このように引張る動作などを入れてタイミングを合わせてオブジェクトを表示させると

インタラクティブなARコンテンツが展開されたような演出に。

形とテクスチャを指定していい感じの画像を作ってくれる PROJECT IMAGE TANGO

#IMAGETANGO

この模様をあのデザインに適用したらどんな見え方になるのかな？と思ったことありませんか？近いことができるツールとしてDimensionがあります。テクスチャとなるファイルを別の３Dオブジェクトに適用して、様々な見え方を検証することができます。PROJECT IMAGE TANGO はこれを２Dでやるというものです。ここで用意する素材は手書きのようなものでも構いません。
あの日見かけた鳥をモチーフにした絵を何パターンかほしいといったとき、うろ覚えの鳥のスケッチに、うろ覚えの色と同じような鳥の写真をMIXさせると…

Senseiがそれらしい絵を生成して提案してくれました。

この絵はWebのどこかから取得してきたものではなく、生成されたものですから唯一無二といえます。

もちろん、もっと実用的な事もできます。ある商品のデザインを別の商品に適用したらどんな感じになるのかなという、冒頭で述べたようなことももちろん可能です。もととなる商品と、デザインを見てみたいテクスチャが含まれる商品3つを読み込ませて、それぞれ1パターンずつ合成しますと…

このように、ちょっとかわいすぎるな、派手すぎるかなと検討することができるようになります。

出力するパターンの数は変更が可能です。何パターンかほしいという要望もボタン一つで実現できます。

デモの最後には自動生成される特徴を生かして、2種類の鳥の写真をAdobe Stockから読み込み、現実には存在しない鳥をたくさん生成させていました。

アニメーションロゴの簡単メーカー PROJECT FANTASTIC FONTS

#FANTASTICFONTS

動画などに差し込む装飾されたテキストを入れるのって面倒ですよね。最近では優秀なテンプレートがAdobe Stockなどから入手することができますから随分楽になったとは思うのですが、SNSへ投稿するような動画の場合はササッと作ってアップロードしたいものです。ストーリーに投稿する場合、こだわり抜くというよりは、スピードが命なんてこともあると思います。

PROJECT FANTASTIC FONTS はそんな悩みに答えてくれるツールです。Illustratorが必要になりそうなエフェクトをパラメーターをコントロールするだけで、様々な形に作ることができます。

しかもアニメーションロゴになっていますから、ちょっとした動画のタイトルとして使うこともできます。

炎を強くしたり、しずくを垂らしてみたり、一つのフォントから様々な効果を得ることができました。

エフェクトのパラメーターは端末を加速度センサーと連動させることも可能で、好みの効果が得られるまでの試行がやりやすくなっています。

ボディトラッキング for All PROJECT GO FIGURE

#GOFIGURESNEAK

キャラクターのアニメーションをいちから作ろうとすると、なかなか大変です。特に慣れていない人からするとかなり苦労しそうなことは想像に難くありません。

PROJECT GO FIGUREはSenseiによる動画内の人物検出機能を活用し、ターゲットを追従して動きを検出、ボーンとして書き出しをしてアニメーションを活用することができます。

抽出された動きはマスクがつけられた状態でAEに読み込まれます。この動きを予め用意していたモデルに適用するだけで

簡単にモーションを適用することができました。

うまく同期されているのがわかりますか？

続いてのデモはバスケットのシュートなんですが、デモをしている彼はバスケが苦手なのでシュートが決まる自信がなく、デモを中断してしまいました。

そこで、得意そうなジョンに交代を依頼しました。すると、画面上のモデルがデモンストレーターからジョンムレイニーに変わり、検出されたモーションがそのまま適用されました。果たして無事ゴールを決めることができるのでしょうか？

結果は失敗。その場で怒りをあらわにするジョンですが、画面をよーく見てみると、元となるモーションはデモンストレーターが演じていたものでした。

写真の時間をあとから自在に調整する PROJECT LIGHT RIGHT

＃LIGHTRIGHTSNEAK

素材として撮った写真が、時間帯があってなくて困ったことありませんか？朝の写真がほしいのにどう見ても昼間だとか、逆光で取られてるけど順光がほしいとか、得られる素材が常に完璧な時間に撮られているとは限りません。

PROJECT LIGHT RIGHT は、複数枚撮影した素材を読み込んでSenseiの力で3D化し、検出された太陽の位置をもとに光源を計算して指定された太陽の位置の影を再構築するというなかなかの離れ業をやってのけています。

複数の写真を組み合わせて３D化する技術はフォトグラメトリと呼ばれているのですが、本格的にやろうとするとものすごく大量の写真が必要になるため、ちょっとした素材撮りで同じようなことは行えません。Senseiの力によって足りないデータはうまく補完されており、少ない枚数の素材でも光源の計算に必要な深度情報を得ることができるなんて、とてもワクワクしませんか？

たくさんの写真素材がなくても、動画があるならそれを元にして同様のデータを作ることもできます。デモではメキシコのピラミッドを空撮したデータを使い、同様に太陽の位置を変えていました。

これだけでは終わりません。もし、得られた素材が1枚だけだと諦めなければならないのでしょうか。答えはNoです。もしそれが有名な観光地であるなら、Adobe Stockでたくさんのコントリビューターが様々な角度から撮った写真が登録されているはずです。

この素材しかないけど、なんとかしたい…

Adobe Stockはイメージ検索ができますから、唯一の素材を使って似たような写真を検索できます。

これらを計算の材料として取り込むことで同じような効果を得ることができてしまいます！

こんなの聴いたことがない！強烈なノイズリダクション PROJECT AWESOME AUDIO

＃PROJECTAWESONEAUDIO

この方覚えていますか？Zeyu Jin さんはSNEAKSの常連とも言える方です。過去のデモにはVOCO,KAZOOがあります。今回も音声に関するデモです。

再録が難しいレコーディングで、入力の設定を間違えてしまったためにとても使える状態じゃないものが録れてしまった…という悪夢、見たことがありますか？筆者はあります。今回はまさにそんなシチュエーションから救ってくれるテクノロジーです。

得られた素材は本来のマイクではない、PCの内蔵マイクで収録されていたというもの。強烈なノイズが乗っていて、優秀なノイズリダクションが使えるAuditionでも理想的な声に持っていくにはかなり苦労する案件です。

でもそれ、PROJECT AWESOME AUDIO が解決します。しかもボタン一つで。

UIはとてもシンプル。設定項目は一切なしで元素材に対してボタンをクリックするだけ。ボタンには「Awesomise」と書かれています。Awesomeの意味は「すごくいい」とかですから、このボタンはさしずめ「すごくよくする」という意味なのでしょう。

ボタン前後でスペクトラムが大きく変わっていることがおわかりいただけるかと思います。同様に、異なるシチュエーションで録ったような音声をAwesomiseするデモも紹介されました。

イラレで光源を簡単に配置 PROJECT GLOWSTICK

#PROJECTGROWSTICK

Illustratorでちょっと苦労するのがグラデーションメッシュの光源の表現。
ちょっとシャドウを追加して立体感を出したいとおもっても、シャドウをいろいろなパラメーターで試したりしていると時間がいくらあっても足りません。

PROJECT GROWSTICKは名前の通り、輝くオブジェクトを画面内に置いて、その光の反射や影をシミュレーションすることができるというものです。

黒い背景に対して光源を追加すると…

こういう撮影用の照明、ありますよね。

追加するオブジェクトには、ライトエレメントとシャドウエレメントがあり、ライトエレメントから発せられた光はシャドウエレメントを透過できず、影が作られます。

ここでもう一度確認しておきたいのですが、PhotoshopではなくIllustratorで光源シミュレーションが行われている。という点です。この機能、欲しくないですか？グラデーションメッシュがいつもカオスになる筆者はとても欲しいです！

光源の強さをコントロールすることでシャドウエレメントから出る影は全てに反映されるので一つ一つオブジェクトのパラメーターを細かくコントロール手間はかかりません。

輝くジェリービーンズのようなものが散りばめられたところに、人物のシルエットが印象的なこの作品もあっという間に作られました。（ちょっと潰れてしまっていますが、実際はきれいなグラデーションになっています）

補正された顔写真を見抜き、更に元に戻す PROJECT ABOUT FACE

#PROJECTABOUTFACE

今年の6月にAdobe Research と UC Berkeley が共同で顔写真の補正が加えられた部分を検出する技術のリリースをしました。このニュースはかなり話題になったのでご存知の方もいらっしゃることでしょう。

PROJECT ABOUT FACE はまさにその動くデモが紹介されたという形です。SNEAKSにしては珍しいタイプのデモですが、Adobe MAX 1日目の基調講演でもContent Authenticity Initiativeの紹介が行われました。フェイクニュースがはびこる今だからこそ、Adobeが取り組んでいる研究の成果を、このような形で紹介されたことで強い熱意を感じました。

デモではまずクイズが出題されました。右と左、どちらが加工された写真でしょうか？

ジョンは「左！」と即答しましたが、会場の意見は「右」が圧倒的。

オリジナルそのままのものを読み込ませるとグリーンでOKの表示がでますが、加工されたものが読み込まれると赤でNGの表示となります。

見た目それほど加工されていないように見えても、ピクセルが不自然に伸ばされたり間引きされている部分を検出しているので、上手に加工していても見抜くことができるそうです。

ということで、正解は「右」でした。

さらに、ここではあえて過補正した写真を作り、これを分析させてみることに。誰がみても明らかに加工された写真ですが、加工された部分をうまく検出できるのでしょうか。

結果は加工が検出され、加工された度としては100％。言い逃れができないレベルでした。

どの部分がどれぐらい加工されているのかをヒートマップで表示することができます。

ここでは、ガッツリと加工された口のあたりが特に赤く表示されており、少しだけ調整した顔の輪郭周りは青で表示されていました。いずれにしてもこの部分は加工が検出された、ということです。

これだけでは終わらないのがSNEAKSです。加工された部分を元に戻してしまう「逆Snow」のような機能まで追加されていました。

これには会場の人たちも大興奮。いや、ひょっとしたらそれだけは「やめてくれ！」という悲鳴かもしれません。

あなたの声を届けよう！

本稿では会場の雰囲気はお伝えせず、デモを中心にお届けしましたが、例年SNEAKSを見てきている筆者からすると、今年は特にお客さんの盛り上がりがすごかったと感じられます。拍手喝采は例年のことなのですが、音圧が桁違いでした。この興奮は動画で是非体感してみてください。

さて、ここ最近のトレンドは、SNEAKSで紹介された機能がかなり早く実装されることが多くなってきています。昨年のSNEAKSで紹介されたオートリフレームは今回のMAXアップデートで実装されました。
今回もこの中のどれかが次のMAXアップデートで実装されるかもしれません。みなさんはどの機能がハートに刺さりましたか？ぜひ見出し下のハッシュタグをつけて、思いをつぶやいてみてください。あなたの声が次の機能を決めるかもしれません。