写真からビデオ、オーディオ、3D、デザインまで生成AIの威力を垣間見せたAdobe MAX Sneaksセッション
私たちはクリエイティビティの新時代に突入しつつあります。誰もが生成AIが提供する強力なワークフローにアクセスし、想像力豊かなアイデアを解き放つことができるようになりつつあります。俳優でコメディアンのアダム ディヴァイン（Adam DeVine）氏が司会を務めた今年のMAX Sneaksセッションでは、未来のアドビ製品に採用されるかもしれない最先端の実験的なテクノロジーの数々がアドビの研究部門のサイエンティストやエンジニアによって先行公開されました。
今回の発表の多くは生成AIを活用したもので、写真、ビデオ、オーディオ、3D、デザインなど幅広い分野で革新的なツールをクリエイターに提供し、クリエイティビティを次のレベルへと引き上げます。
Adobe MAX Sneaksセッションでご紹介したプロジェクトの詳細をご紹介します。
Project Fast Fill
画像編集と同じ手軽さ、クオリティ、スムーズさでビデオからオブジェクトを削除したり、背景のエレメントを変更したりできるようにする、映像エディター向けの機能です。
「Project Fast Fill」は、Adobe Fireflyの生成AIテクノロジー「生成塗りつぶし」を動画編集に応用したものです。これにより、例えば動画内のオブジェクトの表面のテクスチャを、簡単なテキストプロンプトで変更することができます。形状が複雑であってもライティングが一定しなくても大丈夫です。任意の1フレーム上でオブジェクトを編集するだけで、その結果は残りのビデオフレームに自動的に反映されるため、エディターはテクスチャ編集の時間を大幅に節約できます。
プレゼンター：ガブリエル ホアン（Gabriel Huang）は、アドビのビデオに特化したリサーチエンジニアで、これまでもビデオエフェクト編集をより簡単で身近なものにし、革命を起こす先駆的な技術に貢献してきました。
Project Draw & Delight
アイデアを現実のものにしようとするとき、創造的なプロセスに行き詰まったり、方向性が決まらず手助けが必要になったりしたことはありませんか？
「Project Draw & Delight」は、ラフな落書きとして思いついたアイデアを生成AIの力で洗練されたスケッチに変え、制作のジャーニーをその先へとガイドしてくれる機能です。
このテクノロジーは、視覚的なヒント（ラフスケッチや絵筆のストロークなどのスタイル）でテキストプロンプトを補強することを可能にします。テキストから画像生成にとどまらず、Adobe Fireflyのパワーを活かしてさまざまなカラーパレット、スタイルバリエーション、ポーズ、背景のイラストやアニメーションの高品質なベクターを生成することもできます。
プレゼンター：ソウイモディプ チャクラボルティ（Souymodip Chakraborty） は、アドビのコンピューターサイエンティストで、専門分野はコンピューターグラフィックスとジオメトリ処理です。
Project Neo
2Dのデザイン（インフォグラフィックス、ポスター、ロゴ、webサイトなど）に3Dの要素を取り入れることは難しく、デザイナーはしばしば新しいワークフローや技術スキルを習得する必要があります。
「Project Neo」は、3D作成ツールや技法の知識がなくても2Dデザインに3Dシェイプを組み込めるようにします。このテクノロジーは3Dの原理を最大限に活用し、デザイナーが1点、2点、3点の遠近法で描かれた2Dシェイプを簡単かつ迅速に作成できるようにします。また、このテクノロジーを使用するデザイナーは、関係者とコラボレーションし、ベクターレベルでモックアップを編集することができるため、プロジェクトに素早く変更を加えられます。
プレゼンター：イニゴ キレス（Inigo Quilez）は、アドビの2Dおよび3Dアニメーションに特化したプリンシパル リサーチ エンジニア。VRアニメーションツールの開発者であり、彼のCG作品はいくつかの大ヒットアニメやVR映画でフィーチャーされています。
Project Scene Change
「構図」は映像制作に欠かせない要素です。それは映画制作者や映像クリエイターの視点を提供し、スクリーンで展開されるストーリーに視聴者を惹きつける役割を果たします。
「Project Scene Change」は、異なるカメラ軌道で撮影された2つの動画から被写体と背景シーンを簡単に抽出し、カメラモーションを同期させて1つのシーンに合成する技術です。
まず、AIが撮影済みの映像から背景シーンだけを抜き取って3D化し、カメラを自由に動かしてレンダリングできる状態にします。次に、別の映像から抜き取った被写体を整合性のあるシャドウとともに新しいシーンに合成します。これにより、撮影済みの映像のカメラモーションに制約されず、別撮りした被写体を自然な形で新しいシーンに配置できます。
プレゼンター：ジャン シュー（Zhan Xu）は、Adobe Researchのリサーチサイエンティスト。3Dの視点からビデオを理解し、ビデオ編集に3Dコントロールを導入することに注力しています。
Project Primrose
デザイナーの多くは新しいデザインの作成とその最終的な見え方の検討にAdobe Illustratorを使いますが、もしデザインをワンクリックで実際の立体物に素早く反映させられるとしたら素晴らしいと思いませんか？
MAXでインタラクティブなドレスとして展示された「Project Primrose」なら、それが可能です。これは、ウェアラブルでフレキシブルな非発光性テキスタイルでできており、Adobe Firefly、Adobe After Effects、Adobe Stock、Adobe Illustratorで作成されたコンテンツを表面全体にディスプレイできます。この、スタイルを瞬時に変えられる技術は衣服だけでなく家具などその他の立体物にも応用でき、デザイナーは無限の可能性を手に入れることになります。お気に入りのデザイナーの新作が出るたびにダウンロードして身につけることも可能になるでしょう。
プレゼンター：クリスティン ディアーク（Christine Dierk）は、アドビのリサーチサイエンティストで、ヒューマンコンピューターインタラクションやハードウェアの研究イニシアチブが専門です。
Project Glyph Ease
チラシやポスターのタイポグラフィでは、スタイルを統一するためにデザイナーが手で文字を作成したり調整したりすることがよくあります。特定の文字デザインや形状によっては、これは時間のかかる作業になります。
「Project Glyph Ease」は、特定のスタイルに沿うようにデザインされた一連のカスタム文字を、後から利用、編集しやすいベクター形式でAI生成する機能です。スタイルリファレンスとして使う文字（ベクターシェイプや手描きのスキャンなど）を3つ指定するだけで、残りの文字が一貫したスタイルで自動生成されます。これらはプロジェクト内で拡大縮小、回転、移動が可能なライブテキストとして表示され、柔軟に編集することができます。
プレゼンター：ディファン リウ（Difan Liu）は、アドビのリサーチサイエンティストで、画像、ベクターグラフィックス、ビデオ編集を専門としています。
Project Poseable
これまでクリエイターは、プロトタイプのデザインやストーリーボードの作成に何時間もかけていました。各シーンの細部まで時間をかけて作成・編集する必要があるからです。
「Project Poseable」は、生成AIの力で誰でも簡単に3Dプロトタイプや絵コンテを数分でデザインできるようにします。
背景、さまざまなアングルやポーズのキャラクターたち、そして彼らのアクションなど、シーンを細部まで時間をかけて作成・編集する代わりに、AIベースのキャラクターポージングモデルと画像生成モデルを使い、キャラクターを配置した3Dシーンを簡単に作成してレンダリングすることができます。
プレゼンター：イー ジョウ（Yi Zhou）は、アドビのリサーチサイエンティスト。自律型バーチャルアバターの研究に従事し、主に3Dモデルの表現学習、人間の髪と体の再構成、人間のモーションの合成、3Dアニメーションを研究しています。
Project Res Up
大画面に見合うようにビデオがアップスケールされていなかったり、もともとSDの映像がHDディスプレイで再生されている場合、ぼやけた低解像度のビデオが表示されてしまいます。
これを解決するのが「Project Res Up」です。この機能は、拡散ベースの技術とAIを使用して、低解像度のビデオを高解像度変換するビデオアップスケーリングツールです。ユーザーは、低解像度のビデオをそのまま高解像度にアップスケールできるだけでなく、ビデオのズームインやクロップも可能で、忠実な視覚的ディテールと時間的一貫性を備えたフル解像度にアップスケールすることができます。古いビデオの修復や、単に拡大されただけの低解像度ビデオがHDスクリーンに映ってしまうのを防ぐのに役立つ技術です。
プレゼンター：ヤン ジョウ（Yang Zhou）は、アドビのリサーチサイエンティストで、ディープラーニングベースのビデオ生成とデジタルヒューマンに取り組んでいます。
Project Dub Dub Dub
成長を続けるデジタルエコノミーにおいて、世界を相手に動画コンテンツを配信したいというニーズが高まっています。住む場所や話す言葉に関係なく、誰にでも動画やポッドキャストを見てほしい、新たな視聴者にリーチしたいと考えるコンテンツクリエイターが増えています。
「Project Dub Dub」は生成AIを活用し、動画や音声クリップから70以上の言語と140以上の方言の多言語吹き替えバージョンを作成します。音声から音声への翻訳機能を搭載し、話者の声、トーン、リズム、音響がオリジナルの音声トラックと同期する形で吹き替えバージョンを作成することができます。これまで労力とコストがかかっていた吹替版制作プロセスが自動化され、ユーザーがボタンをクリックするだけで数分で完了します。
プレゼンター：ジユ ジン（Zeyu Jin）は、Adobe Researchのシニアリサーチサイエンティストで、彼の深層生成モデルの専門知識はスタジオ品質のスピーチ強化、スピーチ品質評価、パーソナライズされた音声生成に活かされています。
Project Stardust
撮影した写真やAdobe Fireflyで作成したコンテンツを見て、このオブジェクトをパッと修正したいなと思ったことはありませんか？
「Project Stardust」は、AIと生成AIで画像編集の常識を塗り替えるオブジェクト認識型の画像編集エンジンです。このテクノロジーは、背景の空白を塗りつぶす、選択範囲を作成する、照明やカラーを背景と馴染ませる、といった画像編集プロセスで時間のかかりがちな作業を自動化します。さらに、生成AI機能でオブジェクトを追加したり、クリエイティブなアレンジを行ったりすることもできます。Stardustはスキルレベルを問わず、画像編集をすべてのユーザーにとってより直感的で身近なものにし、時間を節約します。
プレゼンター：アヤ フィレモン（Aya Philémon）は、アドビのプロダクトマネージャーで、クリエイティブな可能性を最大限に活用できるようにすることを目指しています。彼女の研究プロジェクトは、仕事とプライベートの両方の経験からインスピレーションを得ています。
Project See Through
写真撮影においてガラスの反射は厄介者です。被写体が反射で隠れたり見えづらくなったりして写真が台無しになることもよくあります。
これまで手作業で反射を除去するのは不可能に近い難しさでした。「Project See Through」は、写真から反射を除去するプロセスをAIの力でシンプルなものにします。反射を自動的に除去するだけでなく、その部分を後で編集に使うために別画像として保存するオプションも提供されます。これにより、ユーザーは写真に映り込んでしまった反射の強度までもコントロールできるようになります。
プレゼンター ：エリック キー（Eric Kee）は、アドビのリサーチサイエンティストで、コンピュータービジョン、コンピュテーショナルフォトグラフィ、機械学習、視覚認識が交差する領域に関心を持っています。
この記事は2023年10月11日（米国時間）に公開された MAX Sneaks highlight several new generative AI capabilities across photo, video, audio, 3D and design の抄訳です。