Adobe MAX Sneaksで明かされるAIが広げるクリエイティビティの未来

Sneaksは、毎年のAdobe MAXで楽しみにしているファンも多い必見のセッションです。このセッションでは、製品機能に含めるのすら未定の、最先端の革新的なテクノロジーをデモとともに紹介します。今年のSneaksでは、没入型3D環境やソーシャルメディア向けの動画作成、実際の制作に役立ちそうなプロジェクトなど、AIを活用したものにスポットを当てました。

アドビのエンジニアやリサーチサイエンティストとともに今年のSneaksをホストしてくれたのは、俳優、コメディアン、起業家であるケビン ハート（Kevin Hart）氏です。この記事では、今年のSneaksのハイライトを簡単にご紹介します。この記事を読んで、これは製品化してほしいというプロジェクトがあれば、ぜひAdobe MAXのTwitterアカウントをメンションしてツイートしてください。

Sneaksセッションのフル動画はこちらからご覧いただけます。

Project Clever Composites

せっかくエッフェル塔まで行ったのに、塔を背景に写真をとるのを忘れたという経験があるかもしれません。Project Clever Compositeの新しい画像合成機能を使えば、どんな背景にも簡単に自分を入れることができるので、一生に一度のショットを現実のものにすることができます。今回Sneaksで紹介するこの機能を使えば、どんな背景にでも簡単に自分を追加することができます。

画像編集ソフトウェアを使った背景画像とオブジェクトの合成自体は一般的な作業ですが、画像からオブジェクトを切り取って別の背景画像となじむように合成するには手間と時間がかかります。使いたい画像の検索、目的のオブジェクトの慎重な切り抜き、オブジェクトの色、トーン、サイズの調整など、一連の複雑なタスクをすべて手作業でおこなわなければなりません。

Project Clever Compositesは、AIとオートメーションを駆使して、この面倒なタスクを、ドラッグ＆ドロップ操作だけでほぼ完結させます。わずか数クリックで、リアルな合成画像が完成します。AIにより、背景画像に追加するのに適したオブジェクトを素早く特定し、自動的にオブジェクトを切り出し、背景との一貫性を保つために色とサイズを調整し、背景の照明を解析して適切な影を生成することが簡単にできるようになります。

【プレゼンター：ジフェイ ジャン（Zhifei Zhang）】アドビのリサーチエンジニアとして画像編集、合成、視覚表現を担当。

Project Instant Add

動画制作のポストプロダクションの段階で、オブジェクトにロゴなどのグラフィックの合成や効果の追加などの編集が最終段階で必要になってしまったことはありませんか？

Project Instant Addは、AIと機械学習を利用して、動画編集やVFX効果の追加など、通常は複雑で時間のかかるポストプロダクションのプロセスを簡素化します。このイノベーションにより、誰でも画像編集のような手軽さで動画コンテンツを編集できるようになります。ユーザーは、テキストやグラフィックを貼り付けたい場合、動画のオブジェクトを指定するだけで、あとはAIがグラフィックを動画の指定されたオブジェクトに自動的にマッピングして処理します。

Project Magnetic Type

グラフィックデザインのプロジェクトでは、シェイプで装飾した文字をテキストとして組むことがよくあります。いったん組んでみるとシェイプが不揃いで美しくないという問題が発生することもあります。そうなると、シェイプすべての細かい位置合わせや整列が必要ですが、これは熟達したデザイナーにとっても手間のかかるプロセスです。

Project Magnetic Typeなら、手書きのカリグラフィも含め、どんなシェイプでも編集可能なデジタルテキストに瞬時に融合させることができます。アドビのAIテクノロジーにより、元のテキストの美観や編集可能な状態を損なわず、テキストにシェイプがスムーズに結合されるのです。このテクノロジーはオブジェクト検出モデルを使用して、スクリプト書体やカリグラフィ書体からスワッシュを抽出し、その形状を文字に融合させることで、同様の外観を実現することができます。テキストが編集可能な状態で装飾シェイプを付けたり外したりできる柔軟性があるため、ロゴや広告などテキストベースのコンテンツ制作におけるデザイナーの創造性を広げることができます。

【プレゼンター：アルシ ジェイン（Arushi Jain）】アドビのコンピュータサイエンティストで、タイポグラフィ関連の機能、特にフォント、グリフ、ベクタースナップに深い情熱を持つ。

Project Vector Edge

グラフィックデザインを作成する際、デザイナーは、屋外広告、Tシャツ、コーヒーカップなど、想定される実際の環境においてそれがどのように見えるかのシミュレーションに苦労することがよくあります。

Project Vector Edgeは、デザイナーとそのチームが、2Dデザインが3D環境に適用された状況を視覚化し、編集し、コラボレーションするための機能を提供します。このプロジェクトでは、AIとベクターグラフィック投影技術を利用して、2Dのデザインアセットを3D環境のサーフェスに自動的に投影し、高精細かつ原寸大で表示します。

【プレゼンター：アンキット フォガット（Ankit Phogat）】アドビのシニアコンピューターサイエンティストで、フリーグラデーション、パペットワープ、3Dなどの機能に携わる。

Project Motion Mix

かっこよくて人目を引く自分のダンス動画をソーシャルメディアに投稿して、バズらせたいと思ったことはありませんか？Project Motion Mixを使えば、リアルな人物の動きを表現した高品質なループ型ヒューマンアニメーションを1枚の静止画から簡単に作ることができます。

動画用のループ型ヒューマンアニメーションを生成したい場合、これまではクリエイターがいくつかの特徴的なモーションを一つひとつキャプチャしてアニメーションに適用しなければならず、非常に手間がかかっていました。このやり方でプロのダンサーの動きを忠実に再現するのはとても困難です。Project Motion Mixは、AIによるモーション生成とヒューマンレンダリング技術により、高品質でリアルな動作を3Dで生成し、動画の主人公に自動的に適用します。さらにアニメーションの中の友人を動画に追加したり、動画の背景を変更することが可能です。

【プレゼンター：ジェ シン ユン（Jae Shin Yoon）】アドビのリサーチサイエンティストで、コンピュータービジョン、グラフィック、機械学習の知見を活用し、モデリング、レンダリング、適用までが1台のカメラで完結する、汎用的かつ高品質な3次元画像再構成手法を用いたヒューマンアバター構築システムの研究に従事。

Project Blink

動画を見ているときすぐに一番盛り上がっているところまでスキップしたり、よりSNS共有に向いた動画クリップを作りたいと思ったことはありませんか？

Project Blinkは、AIにより、ユーザーが動画コンテンツから瞬時にハイライトを探し出したり抽出できるようにする新しい動画編集ツールで、その操作はテキストの編集と同じくらい手軽です。動画に含まれる人物の発言、画面に登場するオブジェクト、サウンド、アクティビティがすべてテキストとして書き起こされるので、必要な場面だけを抜き出したクリップを作成するのは該当するテキストを選択するだけです。あとは、アドビのAIが自動的にその部分を新しい動画クリップに変換してくれます。

Project Blinkは現在、ベータ版として提供中です。この機能を試してみたいという方は、ぜひこちらからご登録ください。

【プレゼンター：ミラ ドンチェヴァ（Mira Dontcheva）】アドビのプリンシパルサイエンティスト兼リサーチマネージャーで、ヒューマンコンピュータインタラクション（HCI）研究の責任者。クリエイティブな作業をより簡単に、より楽しくし、より多くユーザーにとってアクセシブルな新しいツールの構築に取り組む。

Project Artistic Scenes

メタバースは、3Dや没入型コンテンツを作りたいクリエイターに新たな可能性をもたらしています。しかし、アーティスティックな3Dコンテンツの制作には多大な時間と専門知識が求められます。

Project Artistic ScenesはAIの活用により、2Dアートワークのスタイルを3Dシーンに転送します。これにより、将来のVR/AR体験に不可欠となる、洗練されたスタイルを持つ3Dコンテンツをすばやく作成できます。従来の2Dだけしか扱えないスタイル転送技術とは異なり、このアドビのアプローチは3Dシーン全体に適用することが可能です。どんな3Dシーンでも望みのアートスタイルに変換できます。例えば、すべてが水彩画のブラシストロークのタッチでレンダリングされた没入型の美しい3Dシーンなども簡単に実現します。

【プレゼンター：サイ ビ（Sai Bi）】アドビのリサーチサイエンティストで、コンピューターグラフィックスとコンピュータービジョンに関する研究を担当。専門分野はアピアランスの取得、3次元画像再構成、インバースレンダリング、ニューラルレンダリングなど。

Project All of Me

画像を小さくトリミングするのは簡単ですが、切り抜かれた画像を大きなサイズに戻すのは非常に困難です。

Project All of Meを使えば、ファッションデザイナーが新しいデザインの服をウェブサイトで紹介したり、学生が学校のイベントのチラシを作るとき、数クリックで新しいコンテンツや大きな画像を作成することができます。Project All of Meは、AIを活用したスマートなポートレート写真編集ツールです。AIが切り抜かれた画像の周囲に不足しているところを生成してくれます。生成された画像から気に入らない部分を削除することも可能で、削除する部分の代替案も提示します。

【プレゼンター：キン リウ（Qing Liu）】アドビのリサーチエンジニア兼サイエンティストで、深層学習に基づく画像の理解と生成を研究。

Project Beyond the Seen

フラットな2D画像から360°の没入型体験を作れたらいいのにと思ったことはありませんか？この機能を使えば、家族旅行の体験を再現したり、メタバースのためのまったく新しい世界を構築することが可能になります。

アドビのAIを活用した Project Beyond the Seenを使えば、1枚の画像から360°の没入型パノラマを簡単に生成できます。深度推定手法を適用することで、フラットなパノラマ画像を拡張してリアルで没入感の高い3D環境を構築できます。さらに、アドビのAIは被写体の裏側、上部、底部、側部のイメージも生成できるため、ユーザーは新しいオブジェクトを、AIが生成した環境反射を含めてパノラマに追加することもできます。

【プレゼンター：ヤニック ホールド ジョフロワ（Yannick Hold-Geoffroy）】は、アドビのシニアエンジニア兼リサーチサイエンティストで、画像解析と3次元画像再構成の分野で40以上の科学論文と特許を発表、特にAdobe Substance 3D StagerのMatch Image機能やAdobe Photoshopのニューラルフィルターの基盤技術に貢献。

Project Made in the Shade

従来の画像編集ツールでは、立体的なシャドウがついたオブジェクトの画像を整合性を保って変形したり編集したりすることは難しく、時間のかかる作業でした。Project Made in the ShadeではAIを活用し、３D画像の編集が簡単かつ直感的にできるようになります。これにより、写真に写ったシーンの奥行きやライティングがアドビのAIによって認識され、人物やオブジェクトを移動しても説得力のあるシャドウが動的に適用されます。3Dでレンダリングされた画像を2Dに合成したり、立体感のあるモーショングラフィックスを作成するといった作業を、複雑な知識やスキルなしでおこなえます。

【プレゼンター：ヴォイチェフ クルス（Vojtěch Krs）】アドビのリサーチエンジニアで、クリエイティブツール、デジタルイメージング、リアルタイム3Dグラフィックスなどの研究を担当。何時間でもコーディングに没頭でき、現在は自作のデジタルアートを習得中。

この記事は2022年10月19日（米国時間）に公開されたAdobe MAX Sneaks show how AI is enhancing the future of creativityの抄訳です。