映像制作をさらに革新！アドビのAI/生成AI機能を徹底解説《Inter BEE 「Adobe Day 2024」レポート》

アドビは国際放送機器展 Inter BEE 2024において、アドビの革新的な製品や最新技術を体感できるイベント「Adobe Day」を開催しました。多くの方が関心を寄せているAdobe Fireflyによる生成AIの新しいツールについて、その活用例や可能性についてのセッションを行ったほか、Premiere Pro・After Effectsなどのビデオ製品の最新情報、Frame.ioのCamera to Cloudによる新しいワークフロー、3D制作の最新トレンドなど、盛りだくさんの内容で６つのセッションを実施しました。

ここではアドビのUSチームを招いて行ったセッションを紹介します。

このセッションでは『映像制作をさらに革新！アドビのAI/生成AI機能を徹底解説』と題し、過去10年間にわたってアドビがAI開発の最前線に立ってきたことを探り、商業的に安全な生成モデルとして設計されたAdobe Fireflyについて詳しく迫りました。また映像制作における具体的なユースケースも紹介。AIが作業をより効率化し、クリエイターがさらに魅力的なコンテンツを制作する手助けをすることによって、映像制作がこれからも革新し続ける可能性について探っています。

本セッションのために、本国からPremiere Proやビデオ製品を担当しているメンバーが来日しました。登壇者はマーケティングマネージャーのカイリー・ペーニャ（Sr. Product Marketing Manager, Pro Editorial Kylee Pena）、Premiere Proのプロダクトマネージャーを担当しているフランシス・クロスマン（Adobe Principal Product Manager, Premiere Pro Francis Crossman）、そして日本のPremiere Proユーザーからの要望を本国の開発へと繋げている山岸あつこが通訳を担当しました。

アドビのAIへの取り組み

先に登壇したカイリーから、製品の紹介の前にアーティストへ向けて想いを語る時間がありました。

「私達に毎日インスピレーションを与えてくれるアーティストを称えることから始めたいと思います。クリエイターはまさに私たちの活動の中心です。私たちのツールが毎日革新的なテレビ・映画・ビデオ作品を生み出している才能のあるクリエイターの手に渡り、舞台裏で果たしてきた役割について大変誇りに思っています」

アドビは長年にわたりAI開発に尽力してきました。多くのクリエイターが「音声をテキストに変換する機能」「文字起こしベースの編集」「After Effectsのロトブラシ」といったAdobe Senseiツールを活用して時間を節約されていると思います。これらの機能は、制作フローを妨げる単純作業を減らしたいというユーザーの要望を叶えるために生まれたものです。アシストAI機能と呼んでおり、アシスタントとして機能することを意図しています。続けて、カイリーは発展を続けるAI機能について次のように述べました。

「しかし、この1、2年の間でまったく新しいAIの定義が定着しつつあります。言葉から新しいアートを生み出すことでコンテンツ開発はすべての人のものになりました。このタイプのAIを『生成AI』と呼んでおり、実際に新しいピクセルが生成されます。どのAIツールを使うにしても利用する理由は『時間がもっと必要で、制作するコンテンツが増えていて、より生産的なことに時間を使いたい』と感じているからではないでしょうか。これこそが私たちが多くの努力を注いでいるエキサイティングな可能性です」

アシストAI機能も生成AI機能も、クリエイターの生産性をより倍増させる要素として位置づけていることを強調しました。

アシストAI機能からAdobe Firefly Video Modelへの継承

Premiere Proに搭載されている多くのアシストAI機能の中から、カイリーはお気に入りをいくつか紹介しました。

オートリフレーム：ソーシャルメディア用に簡単に出力可能

オーディオリミックス：音楽の長さを調整

スピーチの強調：音質の悪い対話音声を改善

文字起こし：18言語で自動的に文字起こしを行い、キャプションを作成

文字起こしベースの編集：テキストのコピー&ペーストのように簡単にビデオ編集が可能

これらのアシストAI機能の便利さとアーティストにとって利益を損なわない点は、ビデオ生成AI機能の開発にも受け継がれています。

アドビはここ数カ月にわたってビデオ編集コミュニティと密に協力し、「Adobe Firefly Video Model」の発展に努めてきました。クリエイターの権利を考慮し、彼らのフィードバックに基づいてこのモデルを活用した新しいワークフローを開発しています。エディターがクリエイティブなビジョンを形にし、タイムラインの空白を埋めて、既存の映像に新しい要素を追加できるようサポートすることを念頭に置いています。

この理念に基づいて開発されたのが、去る10月にAdobe MAX 2024で発表された「Adobe Firefly Video Model」を活用したPremiere Proの「生成拡張（ベータ版）」、およびFireflyでの「テキストから動画生成」や「画像から動画生成」です。これらのビデオ生成AI機能は、テキストプロンプトを使用することで、アイディアを瞬時に魅力的なクリップに変換することができ、アイディアの提案やBロール、ビジュアルエフェクトなどさまざまな用途に対応できます。また、写真から素早くビデオを作成することも可能です。カイリーはAdobe Firefly Video Modelのメリットとともに大切なポイントを述べています。

「安心して創作することがユーザーやクライアント、コラボレーターにとって重要であることをアドビは理解しています。そして重要なことは、ほかのFirefly生成AIモデルと同様に、Adobe Firefly Video Modelも商業利用に安全な設計となっており、許可を得たコンテンツのみで作られるように訓練されているということです。ここではアドビユーザーのコンテンツは一切使用されません」

Adobe Firefly Video Model

＜テキストから動画生成＞

Fireflyの「テキストから動画生成」を使用すると、「テキストプロンプト」「さまざまなカメラコントロール」「参照画像」を活用して、タイムラインの隙間をシームレスに埋めるBロールを生成できます。また、撮影が難しいショットのクリエイティブな意図を視覚化したり、合成できるオーバーレイを作成できます。

カイリーの説明とともにスクリーンには「テキストプロンプト」によって生成されたトナカイの映像が上映されていました。幻想的な雪の景色を背景にしたトナカイの映像は映画のワンシーンから切り出したような質感を表現しています。

＜生成拡張（ベータ版）＞

現在、Premirere Proのパブリックベータ版で提供されている生成拡張機能では、クリップを延長して映像の隙間を埋めたり、トランジションを滑らかにしたり、完璧なタイミングでショットを長く保持することができます。映像に関しては最大２秒、音声に関しては最大10秒まで追加が可能になります。そしてセッションでは生成拡張機能の具体的なユースケースも上映されました。

＜インタビュー・コメント編集における利用例＞

デモでは編集のタイムラインが表示され、「出演者が話し続けているのでフェードがかけられない」という問題点が挙げられました。インタビューやコメント動画によくありがちなこの例を使って、生成拡張の有用性がリアルに語られました。

「彼が話し続けているせいでエンドロゴが入れづらいので、彼の話を止めたいと思います。まず、彼が話していないフレームを見つけます。そのカットに新しいツール『生成拡張』の機能を適用して拡張します。新しく生成されたビデオが今スクリーンに表示されています」

出演者が自然に話しを止めているクリップが生成され、話がストップした状態のまま違和感なくエンドロゴへとフェードされる動画が上映されました。

この生成拡張はもちろんオーディオにも活用できます。デモでは、氷山が崩れる音や林の中を駆け抜けるバイクの音、馬が駆けている音をピックアップして、自然に拡張された音声も披露されました。

なお、これらの新しく生成拡張されたクリップにはタイムライン上で『AI-generated』とレーベルが貼り付けられます。

＜ドラマ編集における利用例＞

ドラマの場面でどんな拡張ができるかについても取り上げました。緊迫した様子の宇宙飛行士２名が登場するSFシーンです。こちらも撮影時にリテイクできなかったのが悔やまれるような問題点を例に挙げています。

「こちらのシーンでは宇宙飛行士の頷きがいりません。また、次のショットでは女性が目をキョロキョロとさせているところを直したいです。とても一般的な編集の問題ですね」

デモでは宇宙飛行士が頷いていないフレームまでコマを戻して、そこで拡張を行いました。そして女性の目のカットに対しても同じように拡張しました。

また編集中にショットが到着するのを待っているときは、スレート（画面テキスト）でインサートや合成カットなどが入ることを示して編集を保留しておく場合もあると思います。デモでは「Insert shot of moonscape」という月面風景のイメージが指定されているシーンでした。ここに代わりに生成AIでできたショットを作成するところが実演されました。Fireflyに「雪原をドローンショットで撮る」というプロンプトを入れて生成したものをPremiere Proに読み込みました。

さらに静止画として読み込んで生成する例も挙げられました。「プラグのスイッチを上げる」という動作のクリップからプラグだけの静止画を切り出して読み込み、「プラグを引き抜く」という動きを生成AIによって作成。そして最後に、降りしきる雪のエレメントも生成して追加するところも紹介されました。

Premiere Pro上の短いタイムラインの中で、これら複数の生成および生成拡張に関する機能と操作方法が紹介されたあと、生み出されたクリップで構成されたシーンが上映されました。カイリーはデモの終わりに次のように述べています。

「Adobe Firefly Video Modelはタイムラインの隙間を埋めたり、ショットに深みを加えることによってクリエイティブな意図を損なうことなく、自分の方法でストーリーを語ることをサポートします」

Premiere Proの最新機能

セッションの後半ではフランシス・クロスマンが登壇し、Premiere Proの最新機能の中からトピックを紹介しました。

＜コンテンツクレデンシャル機能＞

Adobe Firefly搭載機能による生成拡張やAdobe Firefly Video Modelから生成された成果物は、「コンテンツクレデンシャル」によって作成に使用されたツールや作者を識別することができます。これは生成AIにまつわるさまざまなリスクやユーザーの懸念を払拭するための有力な機能のひとつです。ユーザーがマーケティングに認知される機会を増やし、視聴者は受け取ったコンテンツが信頼できるかどうかを判断できます。

このコンテンツクレデンシャル機能は、技術仕様を策定する標準化団体「Coalition for Content Provenance and Authenticity（C2PA）」によって開発されており、コンテンツの出自と真正性を確保するためにオープンスタンダードであり、多くのソフトウェアツールやニュース組織、カメラメーカーなどによって採用されています。

＜オブジェクトセレクションツール＞

つづいて今年のAdobe MAXで初めて披露されたPremiere Proのプレビューとして、「オブジェクトセレクションツール」が紹介されました。このツールによってマスキングとトラッキング作業が格段に高いレベルへ引き上げられます。

新しいツールセットの下の方にある「オブジェクトセレクションツール」を使うことで、選択したいサブジェクトにホバーオーバーをするだけで自動的にサブジェクトが選択できます。

選択されたオブジェクトをトラッキングしてフレームを増殖できるので、たくさんの可能性が生まれます。例えばLumetriカラーで露出の数値を変えられますし、不透明度を変えることによってオブジェクトだけを切り取ることもできます。

テキストをオブジェクトの背後に表示したり、カラーコレクションやエコーエフェクトをかけることも可能です。

フランシス・クロスマンは「私たちはこういった新しい機能を皆さんに利用していただけることをとても楽しみにしています」と語りました。ここで紹介した機能は2025年にパブリックベータでお届けする予定です。

本セッションは朝早くからの開催にもかかわらず満席となる盛況ぶりで、ビデオ生成AIやPremiere Proの最新情報に対する関心の高さを窺い知ることができました。

セッション中にはAdobe Firefly Video Modelについて、ウェイティングリストにサインナップできるQRコードが紹介されました。最新情報とベータ版へのアクセスを希望される方は、こちらのウェイティングリストにぜひご登録ください。