連載
Adobe MAX の会期は3日間ですが、1日目は製品アップデートのデモがあり、2日目の終わりにお酒を飲みながらアドビのエンジニアが開発中の機能をデモしてヤジを飛ばすというSNEAKSというイベントがあります。毎回豪華なゲストが呼ばれて、デモごとにコメントを求められ（技術のことは何も知らないのに）「ええ、うん、機械学習ね。知ってるよ。」といった受け答えが楽しいイベントでもあります。
基調講演とは異なりライブ中継されていないこともあり、日本でせっかく見られる時間帯なのにと悔やまれるみなさまのために、SNEAKSをまるっとご紹介させていただきます。
冒頭、サプライズとしてコミュニティパビリオンでプロポーズした参加者のバレットタイム画像が紹介されました。
View this post on Instagram
Congratulations to the happy couple!!! #ProposalWin #adobemax
A post shared by Adobe Create (@adobecreate) on Oct 16, 2018 at 3:29pm PDT
今回ゲストを務めるのはティファニー・ハディッシュ。日本ではおもしろ姐さんとして紹介されることもあるコメディエンヌです。技術に詳しそうには見えませんが、ソフトウェアやサービスを開発するみなさんは「おばあちゃんでも理解できるものを作る」ことを目標にされることはよくあることです。果たして、ティファニーに最新技術はどう刺さるのか。早速デモを見ていきましょう。
ティファニーの顔を利用して#ProjectPuppetron を使用して、実際に顔を石像などに変換するデモがありました。これは、昨年のスニークで発表されたアイデアが、今回Character Animatorのキャラクタライザーとして追加された新機能です。
#BRUSHBOUNTY
雨だけではなく挿絵に写っている女性ヒーローの髪をブラシでコントロール。色や物理法則で動きを加え、背景に星空のブラシできらめく星を追加するデモがされました。これだけではありません。ブラシには現在地の天候や時間を反映する機能があり、また、インターネットやセンサから取得できる様々なデータをブラシに適用することができます。
data:image/gif;base64,R0lGODlhAQABAAAAACH5BAEKAAEALAAAAAABAAEAAAICTAEAOw==
#SMOOTHOPERATOR
同様にスカイダイビングでもこの通りに。天地がひっくり返るようなシーンでも動画内の大切なアクションを分析して動画内に残してくれます。
data:image/gif;base64,R0lGODlhAQABAAAAACH5BAEKAAEALAAAAAABAAEAAAICTAEAOw==
#FANTASTICFOLD
箱物のデザインの場合、完成したときに正しくレイアウトされているかを考えながら、何度も試作を繰り返す必要がありました。折り目の部分や合わせ目などをピッタリやるのはとても大変です。そういった辛い部分を自動化してくれる夢のようなツールがこちら。
展開すると上下の画像は3つのパーツに分割されていることがわかりますね。
もちろん完成したプレビューは３Dモデルとしてエクスポートでき、Dimensionで他のグラフィックと合成することができます。
最近では、食べ終わったお菓子の箱を展開すると隠し要素が出てきたり、リメイクすることができたりとパッケージにも他の使いみちを与えたりすることが増えてきました。このようなツールを使うことで創作側によりリソースを割けるようになります。
data:image/gif;base64,R0lGODlhAQABAAAAACH5BAEKAAEALAAAAAABAAEAAAICTAEAOw==
#PROJECTWALTZ
そこでスマホをカメラ代わりにして、3Dシーン内をいろいろ撮影できるようにしたのがこのツールです。画面では写っていませんが、床に専用のマーカーが配置されており、前後や上下の移動もトラッキングできるようになっています。
カメラのズーミングも調整して飛行機のコクピット内へ入って飛んでいるシーンを再現してみたり、モーションをすばやくキャプチャすることができます。
data:image/gif;base64,R0lGODlhAQABAAAAACH5BAEKAAEALAAAAAABAAEAAAICTAEAOw==
#FONTPHORIA
テキストはライブなので、デザインが適用されたまま編集することができます。
紙ナプキンに書かれたイラストのテキストもご覧の通り！
data:image/gif;base64,R0lGODlhAQABAAAAACH5BAEKAAEALAAAAAABAAEAAAICTAEAOw==
#PROJECTFASTMASK
猫の動画では支柱の後ろに入ってしまうシーンがあるのですが、猫を認識し続け適切なマスクが作られ続けました。
ニコ動でよく見られるアイドル育成ゲームのコラージュ動画は、1フレームずつ丁寧にマスクをかけて制作されているという話を聞いたことがあるのですが、似たような作業で真似した筆者はまるで苦行のような作業にいつになったら自動化されるのだと思っていたのですが、やっと、やっと出てきました。
data:image/gif;base64,R0lGODlhAQABAAAAACH5BAEKAAEALAAAAAABAAEAAAICTAEAOw==
#PROJECTMODELMORPH
data:image/gif;base64,R0lGODlhAQABAAAAACH5BAEKAAEALAAAAAABAAEAAAICTAEAOw==
#MOVINGSTILLS
写真を読み込むだけでズームされているような動画が生成されます。遠近感の検出にはSenseiのテクノロジーが活かされており、室内の写真ではどのような家具がどういった位置にあるのかをわかりやすいように、上から下へパンする動画が生成されています。
これらの処理は複数の画像に適用できるため、今まで静止画を動かすだけだったスライドショーも遠近感を伴ったリアルな映像で展開することができるようになります。
data:image/gif;base64,R0lGODlhAQABAAAAACH5BAEKAAEALAAAAAABAAEAAAICTAEAOw==
＃PROJECTKAZOO
楽器を変えてもソプラノの声に変換しても見事に再現。ティファニーは翻訳が追いつかないほどに大興奮！司会も台本を忘れてしまって「よくやった！」と退場を促してしまいました。しかしデモはまだ半分も終わっていません。
しかしティファニーがイケボ過ぎたため上手に認識されず、ティファニーの歌声のほうが良すぎるという結果に。こういう突然のデモがうまく行かなくて笑いがおきるというにはSNEAKSの風物詩です。
data:image/gif;base64,R0lGODlhAQABAAAAACH5BAEKAAEALAAAAAABAAEAAAICTAEAOw==
#PROJECTGOODBONES
それだけではありません。編集の前後をキーフレームとしてアニメーションを自動生成し、アニメーションGIFで書き出しをすることまでできました。
製作中のイラストレーションからアニメーションを生成することができるので、Animateを使うまでもないモーションであれば十分使いみちが考えられます。
data:image/gif;base64,R0lGODlhAQABAAAAACH5BAEKAAEALAAAAAABAAEAAAICTAEAOw==
説明不要なほど自然にAdobe Senseiがサポートしてくれるように
SNEAKS での10個のテクノロジーを紹介しました。みなさまどれか気になるものはありましたか？全部でしょうか？会場の感想を聞いてみても「今回全部良かったですね！」という声がたくさん聞かれました。筆者はWebを中心に写真や映像をやるので、一つ選ぶとすれば PROJECTFASTMASK です。仕事を忘れて拍手ばかりしてました。これらのテクノロジーにはAdobe Senseiが生かされているのですが、わざわざ説明しなくてもいいぐらいに自然にツール内に存在しており、クリエイターはその恩恵を享受することが出来ます（面倒な学習とチューニングはアドビにお任せです）。
これらの中から製品に実装される機能は出るのでしょうか。ぜひハッシュタグをつけてつぶやいてみてください。あなたの1票で実現できるかもしれません。
