クリエイティビティを“拡張”する！Firefly Videoモデル & Premiere Pro 生成拡張 実践例《Inter BEE 「Adobe Day 2024」レポート》

国際放送機器展 Inter BEE 2024において、アドビの製品・サービスやテクノロジーの最新情報を紹介するイベント「Adobe Day」が開催され、６つのセッションが行われました。講演は生成AI「Adobe Firefly」に関する話題が多くありましたが、なかでもAdobe Firefly Video モデルとPremiere Proの生成拡張についての講演は立ち見が出るほどの盛況ぶりで、来場者のみなさまの関心度の高さが伺えました。

この記事ではビデオ生成AIによって私たちのワークフローがどのように進化し、クリエイティビティを拡張できるのかをお伝えいただいた「クリエイティビティを“拡張”する！Firefly Videoモデル & Premiere Pro 生成拡張 実践例」をレポートします。たくさんの実践例とFirefly Video モデルユーザーだけが知り得るようなTipsも多数紹介されていますので、是非参考にしていただければと思います。

登壇者はエディター・コンポジター・モーションデザイナーを務める白戸裕也さん。これまで大手制作会社でTVCMやWebCMの制作を経験し、サイバーエージェントが展開する新しい未来のテレビ「ABEMA」、サイバーエージェントグループの株式会社６秒企画を経て、2023年より株式会社Cyber AI Productions（CAI）に所属しています。

このセッションでは大きく３つのブロックに分けて解説が行われました。

（１）映像制作とFirefly Videoモデル

（２）Firefly Videoモデル 実践例

（３）「思い通り」に生成する方法

「皆さんに覚えて帰ってほしいのは、『Firefly Videoモデルはあらゆるクリエイターの強力な相棒になっていく』ということです」と白戸さんは語りました。

（１）映像制作とFirefly Videoモデル

Firefly Video モデル を使うのは、どのような場面が考えられるでしょうか。

白戸さんは、普段はWebCMやTVCMの編集と合成を担当されているということで、例えばアイディアを考えたり、予算や納期などの制限をクリアしたり、撮影が難しい表現を可能にするなど、さまざまな場面を挙げました。なかでも「大量のパターン数を作る」という場面では、具体的な例を挙げました。

「TVCMだと15秒を1本、30秒を1本など、いわゆる“珠玉の1本”を作ります。いっぽう、WebCMはいろんな媒体に向けてタテ・ヨコ・スクエアの縦横比で作ったり、訴求違いで大量のパターンを作るんですね。こういうときにFirefly Video モデルを使えるんじゃないかと考えています」

（２）Firefly Video モデル実践例

Firefly Video モデル の画面をスクリーンに映し出して指定項目などの紹介が行われました。

なお、今回の実践例は、Firefly Video モデルのベータ版(2024年11月時点)を使用しています。

画面左上の「Camera (カメラ)」では、文字通りカメラに関する設定をします。クローズアップ、ミディアム、ロング、エクストリームロングなど、ショットサイズを指定できます。

「Camera angle (カメラアングル)」は、空撮やアイレベル、ハイアングル、ローアングル、真俯瞰など、さまざまなアングルを指定できます。

「Motion (動き)」は、ズームイン、ズームアウト、左に動く、右に動く、ティルトアップ、下から上に、上から下になど、カメラの動きを指定できます。もちろん動きの固定もできますし、ハンドヘルド（手持ち）で手ブレ感があるような画も設定可能です。

そして画面下側にあるのがプロンプトです。2024年11月現在では、4語以上175語以下という語数制限があります。

さまざまな作例

手始めに「犬が窓際でまどろんでいる」というシーンが例として生成されました。

「サイズ」をミディアム、「アングル」はちょっと上からのアングル、「カメラの動き」は右に動く設定。生成を開始して、少し待つと完了しました。数語のプロンプトでかわいい犬が生成されるのを白戸さんは高く評価しました。

以降、さまざまな作例をもとに、実践的な設定方法やTipsが紹介されました。

実践例① シズルカット

ホワイトシチューの真俯瞰カットのシーンが示されました。

「シズルカット」とは、肉の焼けるジュージューした感じや、ツヤのある寿司のクローズアップなど、お腹が減ってくるような表現を意味します。プロンプトは現時点で英語のみ対応しています。「ウィズベジタブル（以下、英語表記のものも日本語で表しています）」と記述すれば野菜が一緒に生成されますし、ほかにも「カレーライス」などの指定もできます。この例について、白戸さんはいくつかの注意点も添えてくださいました。

「少しおかしな生成がされているところもありますが、そこは適宜編集で削って使っていただければと思います。また、スライドにプロンプト例を載せていますが、あくまで例です。同じプロンプトを入力をしたからといって、完全に同一のものが生成されるわけではないのでご注意ください」

実践例② 商品カット

シチュー繋がりということで次の例が示されました。商品のヨリから引いていくとパッケージが映り込むという、カメラの動きがある、CMでよく見かける表現です。

白戸さんは「生成AIは単純な動きしかできないだろうと思って意地悪をしてみたのですが、案外うまくいったところがすごいなと思っています。ディテールの部分は及第点ですね」と評価しています。

実践例③ 商品カット

つぎは化粧品のCMでよく見かける表現。「森の中にある１つのボトル」という例が挙げられました。この世界観は実写で撮影しないとなかなかできない表現ですが、生成AIなら、ある程度トライアンドエラーを重ねられるメリットがあります。

「レンズフレア」や「ボケ」といったワードが含まれているほか、「ソフトフォーカス」「葉っぱの間を通っていく光」などの細かいイメージも記述しています。

実践例④ 商品＋人物カット

商品カットなら人物を出演させたいときもありますよね。

商品と人物が同居する、ハイブランド化粧品のワンシーンをイメージした例も示されました。生成された違和感のないムービーを見て、白戸さんはひとこと「素晴らしいですね」と述べています。

実践例⑤ VFXカット

「実はこんな表現もできます」と、大作映画のようなVFXカットも示されました。

プロンプトには「スペースバトルシップ」や「ディープスペース」などの記述があります。これらのプロンプトをすべて自分で考えて書くのは難しいですが、そういった方のために、プロンプトの書き方のポイントもあとで解説しています。

実践例⑥ 抽象空間

写実的な表現だけではなく抽象的な表現も可能です。このような抽象的なシーンはVP（ビデオパッケージ）のタイトルの背景素材として使われたりします。

プロンプトは意外とシンプルで「グラデーション」や「バックグラウンド」、あとは「色のトーン」の記載もあります。「パステルカラー」など、色についてプロンプトに記述することでお好みの色にすることも可能です。

実践例⑦ モーションデザイン

抽象表現の例としてもうひとつ示されたのが、3DCGで制作したようなモーションデザインのシーンです。

こちらは「Text to Video」で直接生成したものではなく、いったん「Text to Image」で画像を作ってから、その画像を動画化したものです。【プロンプト例】の最初3行が画像を作るときのプロンプト、下1行が Firefly Video モデルに入力したプロンプトです。

実践例⑧ 湯気素材

「これを必要とする方はあまりいないかもしれませんが…」という前置きをしつつ示されたのが湯気の素材。白戸さんは食品のCMをたまに担当するということで、商品をより美味しく熱々に見せるために使えそうだと語っています。

「いまは湯気が画角から切れていますが、『もっと（カメラを）引く』とか、そういったプロンプトの追加次第で自由自在に調整できると思います。湯気って条件に合う素材を見つけるのがなかなか難しいですよね。もちろんAdobe Stockでも購入できますが、このようにFirefly Video モデル で生成もできます」

Premiere Pro 生成拡張

Premiere Pro ベータ版を使用した生成拡張の実践例も紹介されました。ビデオクリップでは最大2秒、オーディオクリップは最大10秒拡張することができます。

実践例として、先ほど生成した「化粧品のボトルを持った女性」のクリップが使用されました。クリップをシーケンスに載せて、画面左側のツールパネルにある「Generated Extend Tool」を選択。クリップを選択して端の部分を伸ばしていきます。

「光やフレアもちょうどいい感じに入って、2秒ぶん尺を伸ばすことができました」と白戸さんは評価しています。

次の例は白戸さんが札幌旅行の際に撮影したジンギスカンのクリップ。「ちょっと意地悪な素材」とのことでしたが、肉をひっくり返す動きをしっかり生成できました。クリップの下部にある「AI-genarated」の箇所を右クリックすると再生成も可能です。生成結果が気に入らない場合は、何度かトライアンドエラーを重ねることをオススメしていました。

もう１つ例として使用されたのは、列車が写ったロングショットのクリップ。これがどのように生成拡張できるのかを試しました。

列車が進行している様子がうまく拡張されるのか気になるところでしたが、しっかり表現できていました。小さく映っている自動車も破綻なく生成できている点に白戸さんも着目していました。

生成拡張で作られたクリップは、単純なネスト構造になっていることを白戸さんは説明しています。

「ネストを開くと、元クリップの上に生成したクリップがあります。ちょっと裏技になりますが、開いたネストの中でもう一度拡張もできます。ただし、うまくいかない可能性は大いにあります」

生成したクリップは「Generative Assets」というフォルダに格納されます。プロジェクト設定で、お好みの場所を指定してください。

白戸さんはひとつ注意点を挙げました。

「オフライン編集のときに生成拡張で尺を伸ばすと、オンライン編集の際に伸ばした分のデータが存在しない…というミスも起きると思います。生成されたクリップを必ず渡してください」

（３）思い通りに生成する方法

Adobe Firefly Video モデル の効果的なプロンプトについては、アドビのヘルプセンターでドキュメントが公開されています。

https://helpx.adobe.com/jp/firefly/generate-video/generate-video-clips/writing-effective-text-prompts-for-generative-video.html

そのポイントは３つ挙げられています。

①プロンプトを工夫する

②より具体的な情報を与える

③参照画像を使用する

この３つを噛み砕いて説明していただきました。

①プロンプトを工夫する

Fireflyが理解できるように、明確かつ説明的に記述する必要があります。

まずはショットのタイプの説明。カメラの遠近感や動きです。つぎにキャラクターの説明。キャラクターは誰なのか、どのような見た目をしているのか、さらにキャラクターのアクションや場所。何をしていて、どこにいるのかなどの記述が必要になってきます。

「美観とはショットの雰囲気のことですね。35ミリフィルムで撮った感じとか、荒々しいルックなど、そんなイメージを指定する必要があります」

②より具体的な情報を与える

より具体的な情報を与えるコツとして、ヘルプのスクリーンショットが抜粋して示されました。

視覚的なスタイルを指定するには「シネマチック」「リアリスティック」「アニメーション」「アーティスティック」などのを記述するのが効果的です。また、アクションを明確に定義するには、説明的な形容詞を使用して記述することがオススメです。「静かな朝もやが立ちこめるビーチ」「ビーチチェアから漏れる柔らかい日差し」など、まるで小説のように情景がわかる記述をするのがポイントです。

これらを踏まえた比較例として、白戸さんがテストした画像も紹介されました。

左上は単純な4語のプロンプト「a car is driving」です。「夕日になっているのは、おそらくFireflyが補完して考えてくれたのではないか」と白戸さんは語っています。

それに「midnight」というプロンプトを追加したのが左下。そして右はさらに「snowy day」という言葉を追加しました。

このように、より具体的な情報を与えることで、自分が求めるシーンに近づけることができます。

③参照画像を使用する

プロンプトの左側に、画像をアップロードするボタンがあります。ここから参照画像をアップロードすることで、画像から動画を生成できます。

白戸さんは飛行機の窓から撮った1枚を例に挙げました。

「ちょうど福岡空港を離陸したときの、窓外の風景です。この画を『夜にしたい』というオーダーを受けたらあなたはどうしますか？　夜にするには空を合成しなきゃいけないし、山際も調整が必要です。街もあるのでなかなか難しいオーダーですよね」

結果は、思っていたよりもいい感じに生成できたとの評価でした。

「特にうまく表現できていると思ったのはこのフラップのところです。ちゃんと街の明かりを受けた光になっている。これを手作業でやるとしたらなかなか難しい。ディテールに関しては及第点の部分はありますが、これがどんどん進化していくとDay for Night (昼に撮影した素材を夜に見せること) など、難しい表現も生成AIでできるようになると信じています」

そして先ほど紹介したモーションデザイン的なシーンも、「参照画像を使用する」を利用したことが明かされました。こちらは「Text to Image」で画像を生成して、それをFirefly Video モデルに読み込んで動画化したものです。

さまざまな画像をアップロードできますが、もちろん他者の権利を侵害する画像を読み込むことは禁止です。

これまで見てきた「思い通りに生成する方法」は、じつは撮影や照明に関する知識やノウハウを活かせると白戸さんは語っています。

「生成AIと聞くと、何やら得体の知れないまったく新しいもののように感じますが、エディターだけではなくカメラマンや照明、デザイナーなどいろいろなクリエイターにとって便利なツールになり得るんですよね。

プロンプトを考えるのが難しく感じる場合もあるかもしれません。あくまで個人のやり方ですが、私はClaudeやChatGPTなど文章生成AIにプロンプトを書いてもらうこともあります」

このとき、Fireflyの語数制限もプロンプトに追加しています。つぎが例です。

『下記の内容を踏まえて175語以下で、Adobe Firefly用のプロンプトを生成してください』『ニューヨークのオフィス街、昼、金髪の美しい女性が化粧品のボトルを持っている。カメラ目線』

すると先ほどの化粧品を持った女性のクリップが生成されました。

白戸さんは補足しました。

「これらの文章生成AIは現時点でFirefly Video モデル の存在を未学習であり、最適化はされていまません。そのうちFirefly Video モデル を学習して、より最適化されたプロンプトが生成できるのではと思います」

Firefly Videoモデル の活用ポイント

セッションの最後では、いくつかのポイントをおさらいしました。

サイトに記載されている「アドビのアプローチ」を取り上げつつ、白戸さんはつぎのように語りました。

https://www.adobe.com/jp/ai/overview/firefly/gen-ai-approach.html

「いろいろな生成AIサービスがありますが、学習に使われている素材が権利的にクリアではない場合もあり、クライアントワークでは安心して使えないというのが実状です。そんな中、Adobe　Fireflyは『安心して商用利用できるよう設計している』と宣言しているんですよね。皆さんにも安心して使っていただけると思います」

そして、白戸さんは冒頭の言葉でセッションを締めくくりました。

「Firefly Videoモデルはあらゆるクリエイターの強力な相棒になっていく」

本セッションは実践的な例と細かなTipsが満載で、より身近になった生成AIの現状を知ることができる貴重な講演となりました。Adobe Firefly Video モデル とPremiere Pro生成拡張に関する基本的な情報や、広告・ショートフィルムにおける事例などは他のセッションでも解説されています。ぜひそちらの記事もご覧ください。