ビデオに生成AIの力をもたらすAdobe Firefly Video Model

2023年3月にAdobe Fireflyを世に送り出して以来、私たちは画像、デザイン、ベクターの各分野で新しいAIモデルをリリースし、急速なイノベーションを実現してきました。進化し続けるこれらのFireflyモデルを搭載したPhotoshopの「生成塗りつぶし」、Lightroomの「生成AI削除」、Illustratorの「生成塗りつぶし（シェイプ）」、Expressのテンプレートへのテキスト挿入などは、いまやCreative CloudとExpressで最もよく使われる機能の仲間入りを果たしています。その過程で、クリエイティブコミュニティや企業のお客様から素晴らしいフィードバックをいただき、コミュニティ全体で120億枚以上の画像やベクター画像が作成されました。Fireflyとそれを搭載した機能の数々は、最も速いペースでコミュニティに受け入れられたものとなりました。

今日、動画がエンゲージメントを生み出す最も強力な手段であることは誰もが知るところです。そこで私たちは、業界をリードする動画ツールであるPremiere Proのために開発されたFirefly Video Modelと、それを活用した画期的なプロ向けワークフローのベータ版の提供を年内中に予定しています。この記事でその内容の一部をいちはやく皆さんにお伝えできることを嬉しく思います。

ここ数か月の間、私たちは動画編集コミュニティと緊密に連携してFirefly Video Modelの開発を進めてきました。皆さんのフィードバックを参考に、クリエイターの権利を念頭に置いて構築されたこのモデルを活用した新しいワークフローを作っています。これにより、動画エディターはアイデアを練り、クリエイティブなビジョンを追求し、タイムラインのギャップを補完し、既存の映像に新しい要素を追加することが可能になります。

他のタイプのFirefly生成AIモデルと同様に、Adobe Firefly Video Modelは安全に商用利用できる設計となっており、使用許可を得たコンテンツのみでトレーニングされています。ユーザーのコンテンツがトレーニングに使用されることはありません。

この記事では、その驚くべき進歩の一部をお知らせします。これらの機能すべてが商業的に安全な設計となっており、年内中にはベータ版が提供される予定です。最新情報とベータ版へのアクセスを希望される方は、ウェイティングリストにご登録ください。

動画編集の新時代

新鮮な短尺の動画コンテンツに対する需要が高まる中、動画エディター、映画制作者、コンテンツ制作者には、より多くの仕事をさらに短時間でこなすことが求められています。現在、エディターは映像のカット編集だけでなく、色補正、タイトル付け、視覚効果、アニメーション、オーディオミキシングなどのさまざまな関連作業も請け負うようになりました。アドビでは、こうした他の分野でもエディターが力を発揮できるように、AIの力でクリエイティブなツールセットを拡張して支援します。これにより、クライアントが求めるスケジュールで高品質な成果物を納品できるようになります。

映像のギャップを埋めたり、不要なオブジェクトをシーンから削除したり、ジャンプカットのトランジションをスムーズにしたり、完璧なBロールを検索したりなど、編集作業で頻繁に行われるタスクには時間がかかります。これらのタスクをスムーズに処理できれば、伝えたいストーリー作りに集中でき、魅力的で感情に訴える作品に仕上げることができます。

また、チームや、プロジェクトの承認やステークホルダーとクリエイティブな意図を共有するという重要なタスクも、何往復ものコミュニケーションを要する難しい作業になることがあります。アドビでは、Frame.ioなどのツールを提供し、レビュー・承認プロセスを一元化することでチームワークを効率化します。そして今、ポストプロダクションの作業を効率化し、より優れたクリエイティブプロセスを促進するAIツールを提供しようとしています。アドビのAIツールは、エディターが大規模なチームとのコラボレーションを成功させながら、彼らが最も好きな仕事である新しいクリエイティブなアイデアを探究する時間を増やします。アドビは作業プロセスの合理化を促進するだけでなく、生成AIにより、エディターやモーショングラフィックデザイナーが最高傑作を記録的な速さで制作できるようになるのです。Fireflyを使用して動画編集を新たな高みへと導く様子を、以下でご覧ください。

Firefly「テキストから動画生成」を使用すると、テキストプロンプト、さまざまなカメラコントロール、参照画像を使用して、タイムラインのギャップをシームレスに埋めるBロールを生成できます。

以下に示したすべての生成動画は、アドビのFirefly Video Modelで作成され、2分以内で生成されました。

Firefly Video Modelは、自然界の動画の生成に優れています。 シーンを構成する重要なショットが撮影されていない場合でも、風景、植物、動物などのインサート映像をカメラモーションを伴って生成することができます。

このような補完ショットが必要な場合、 参照フレームに基づいて生成したクリップでタイムラインのギャップを埋めることができます。

オリジナルのフッテージ

生成されたクリップ

両者を組み合わせたシーケンス

Firefly Video Modelでは、アングル、動き、ズームなどの豊富なカメラコントロールを活用して、生成した動画に完璧な視点を追加することができます。

プロンプトが詳細であればあるほど、モデルはその情報を汲んで、よりインスピレーションに富んだイメージやBロールを生成することができます。

Firefly Video Modelは、黒や緑の背景に炎、煙、塵、水などの空気感を表す要素を作成し、ブレンドモードやPremiere ProやAfter Effectsなどのアドビツールが備えるキーイングを使用して既存のコンテンツに重ねるため、幅広いユースケースに対応できます。

オリジナルメディア

炎のオーバーレイ

両者を統合したシーケンス

2Dおよび3Dアニメーションのアイデア出しにも使えます。例えば、クレイメーションを生成してクリエイティブな共同作業者に作品の意図を伝えることができます。

クライアントと共有してフィードバックを得るためのカスタムテキストエフェクトのアイデアをブレインストーミングすることもできます。

「画像から動画生成」を使用すると、既存の静止画やイラストを素晴らしいライブアクションクリップに変換して、命を吹き込むことができます。

参照画像

また、年内中にPremiere Pro（ベータ版）に追加される「生成拡張」機能では、クリップを拡張して映像のギャップを埋めたり、トランジションをスムーズにしたり、ショットを延長して完璧なタイミングで編集したりすることができます。

Adobe Firefly Video Modelを搭載したPremiere Proの生成拡張機能を使い、オーディオのクライマックスに合わせてショットを延長する様子をご紹介しています。

生成されたフレームを使って完璧な編集が施された最終出力もご覧いただけます。

Adobe Firefly Video Modelの最新の成果に私たちは興奮しています。コミュニティと協力して、皆さんにご愛用いただいているアドビのツールやワークフローに生成AIを組み込めることを嬉しく思っています。

この記事は2024年9月11日（米国時間）に公開されたBringing generative AI to video with Adobe Firefly Video Modelの抄訳です。