Adobe Premiere Proのビデオ編集ワークフローへの動画生成AIの導入について

映像は最も説得力のあるストーリーテリングメディアです。SNSのショート動画から長編映画まで、映像はクリエイター、ブランド、そして携帯電話をポケットに入れたすべての人に、つながりとエンゲージメントを与えます。アドビのビデオツール群（Adobe Premiere Pro、After Effects、Audition）は、プロフェッショナルな映像制作のための業界標準であり、これまで10年以上にわたり編集、サウンド、カラー、エフェクトにおいてAIを活用したイノベーションを提供してきました。

アドビの戦略は、Creative Cloud全体に生成AIを統合し、クリエイティブプロフェッショナルにさらなるパワーと効率性を提供することです。Premiere Proチームはこの1年間、プロのビデオコミュニティと深く関わることで、彼らの仕事におけるリアルな問題を生成AIでどう解決すべきかについて理解することができました。エディターは、ワークフローの効率化とタスクを合理化し、クリエイティブなコントロールを高めるために生成AIの力を使いたいと考えていますが、次の3つの重要な前提条件があります。

• AIが、彼らのワークフローと毎日使うツール（Premiere Proなど）に統合されていること。
• 自分のコンテンツで作業ができ、思い通りの正確なコントロールを維持したうえで、オブジェクトを追加したり、邪魔なものを削除したり、タイムライン上でクリップをシームレスに延長したりといった既存コンテンツの編集作業をスピードアップできるなら、それは真に価値があるもの。
• 選択する力が与えられるかどうか、つまり特定のタスクを得意とする異なるAIモデルの使い分けが可能かどうか。

私たちのビジョンは、ショットの尺を少し延長したり、オブジェクトを追加・削除したり、足りないBロールを生成したりが可能な新ツールを組み込むことにより、動画生成AIワークフローをAdobe Premiere Pro内で完結させるというもので、本日これを発表できることを嬉しく思います。生成AIのパワーを解き放つインターフェイスとワークフローをアドビが開発することで、プロのエディターはPremiere Proにいながらにして、これまでの不可能を可能にできるようになります。

Adobe Firefly Video Modelとサードパーティの生成AIモデル

もちろん、このビジョンには高度な動画生成AIモデルが必要であり、この分野における研究とイノベーションの急速なペースが、来年にかけてプロフェッショナルレベルの結果をもたらすと信じています。アドビは、画像、ビデオ、オーディオ、3Dなど、深い専門知識が必要な分野で、Fireflyのような独自のAIモデルの開発を続けています。その一環として、画像、ベクター、デザイン、テキスト効果モデルを含むAdobe Fireflyモデルファミリーに加わる新しいビデオモデルを開発しています。
また、Premiere Proは、長い間、豊富なパートナーとプラグインエコシステムを持ち、あらゆるワークフローに対応する柔軟で拡張性の高いツールとなっています。このエコシステムを拡大する一環として、OpenAIのSora、RunwayML、Pikaなど、サードパーティの生成AIツールやモデルをPremiere Proに取り込むための初期の探求にも、彼らと連携して取り組んでいます。

生成拡張

尺が足りない時でも大丈夫。「生成拡張」ツールを使えば、クリップの冒頭や末端に足りないフレームを追加してシーンを少し延長することができます。生成されたメディアを使って編集を微調整したり、シーンをあと数秒持続させたり、トランジションをカバーしたりすることができます。完璧な編集がクリック＆ドラッグだけで実現するのです。

オブジェクトの追加と削除

新しい、AI搭載のスマートな「マスクとトラッキング」ツールで時間の経過とともに動くオブジェクトをこれまでになく簡単かつスピーディーに選択できます。「オブジェクトを追加」と「オブジェクトを削除」の両ツールを組み合わせれば、シーン内で動いているオブジェクトを一気に置き換えたり、見切れたブームマイクや置き忘れられたコーヒーカップのような不要なアイテムを削除したり、絵画や机の上のフォトリアリスティックな花瓶といったセット装飾をすばやく追加したりできます。

Bロールの生成

ストック映像からBロールショットを探す手間を省き、シンプルなテキストプロンプトを使って、ストーリーにぴったりの動画クリップを生成できます。撮影が難しい、または幻想的なコンセプトを説明するショットを作成したり、調達が困難なBロールを生成したり、プランニングやペース配分の把握に役立つプレースホルダーを作成したりできます。

オープンなアプローチによるAIモデル提供

私たちは、急速に発展する生成AIの世界でこれからもイノベーションを起こして行きますが、同時に、ユーザーが欲しい機能を望む場所にお届けできるように、オープンなプラットフォーム展開とパートナーシップ構築にもコミットしています。そして、OpenAIやPikaといった企業との初期段階の探求は、ユーザーそれぞれのユースケースに最適なモデルを選択できるようになる可能性を開きます。だからこそ、私たちはコンテンツクレデンシャル（コンテンツ制作における成分表示ラベルのようなもの）を通じて透明性を確保し、消費者が閲覧しているメディアの制作にどのモデルが使用されたかを常に把握できるようにします。コンテンツクレデンシャルはPremiere Pro内部でサポートされ、作成から編集、公開までの信頼のチェーンを生み出すのに役立ちます。

AIには、生産性を大幅に向上させ、新しいメディアを扱う際の障壁を下げる力があります。私たちはクリエイティビティが、人間だけが持つ特性であると信じており、Premiere Proが動画生成AIの時代を迎える今も引き続き、クリエイティブコミュニティとの対話を続けられることに興奮しています。

この記事は 2024 年 04月 15 日（米国時間）に公開された "Bringing generative AI to video editing workflows in Adobe Premiere Pro"の抄訳です。