モザイク入れにかかる作業時間を大幅削減。After Effects用の自動モザイク入れプラグイン「BlurOn」

日本テレビ放送網株式会社は、株式会社NTTデータと共同で、自動でモザイク入れ（ぼかし入れ）を行うAfter Effects用のプラグインAIソフトウェア「BlurOn」を開発し、2022年7月にリリースしました。

バラエティ番組や報道番組などでのモザイク入れ作業は、1時間の番組制作のために2〜3日を費やす場合もあり、煩雑で非クリエイティブな作業に多くの労力がかかることが大きな課題でした。また昨今では、個人情報保護の重要性の高まりを受けて、慎重な映像制作が求められることも作業負担の増大につながっていました。今回リリースされたBlurOnは、モザイク入れ作業の自動化によってこれらの課題を解決し、大幅な作業効率化を実現しています。

開発に携わった日本テレビ放送網株式会社 社長室　新規事業部に所属する加藤大樹氏と西海弘規氏、株式会社NTTデータ ITサービス・ペイメント事業本部 スマートライフシステム事業部 メディア統括部に所属する渡邉 之人氏と的場 久幸氏にお集まりいただき、開発の背景や製品の特徴、今後の展望などを伺いました。

「BlurOn」プロダクトページ： https://blur-on.com/

日本テレビ放送網株式会社 社長室　新規事業部　加藤大樹氏

日本テレビ放送網株式会社 社長室　新規事業部　西海弘規氏

株式会社NTTデータ ITサービス・ペイメント事業本部 スマートライフシステム事業部 メディア統括部　的場 久幸氏

株式会社NTTデータ ITサービス・ペイメント事業本部 スマートライフシステム事業部 メディア統括部　渡邉 之人氏

＜開発のきっかけは編集現場の働き方改革のため＞

西海氏：かねてから日本テレビの番組制作の中で、モザイク入れ作業がかなり大変で時間がかかっているという問題がありました。現場の担当者から作業を自動化できないかという要望があり、まずは既存製品の中でこの課題が解決できるプロダクトがあるかリサーチを行いました。

10製品ほど試しましたが、どれもモザイクを入れる箇所の「検出」と「追従」の精度が足りず、修正のための手作業がかなり発生するという結果で、トータルの作業時間を考えると最初から人の手でやったほうが早いというのが番組制作の現場が出した答えでした。

リサーチ後、日本テレビでは自動モザイク入れ製品の自社開発の可能性を模索し始めます。そして2019年末頃、NTTデータと行っていたブレインストーミングの中で、同社の培ってきたAI技術の中にモザイク処理に有効な顔認識技術や人体全身の認識技術があるという話題に辿り着きます。こうして製品実用化へ向けた共同開発がスタートしました。

＜自動モザイク入れのポイントは高い検出精度＞

加藤氏（日本テレビ）：18年ほど前に私が編集マンの仕事を始めた頃から手間のかかるモザイク入れを自動化したいというアイデアはありました。ただ当時は画像認識の精度がよくなかったり、すごく時間やコストがかかるなど自動化は現実的ではありませんでした。今回の製品化は、AIの性能が人の作業を効率化できるレベルまで上がってきたというのが一番大きく、NTTデータさんの技術力によって精度の高い検出が可能になったからこそプロジェクトを開始できたという経緯があります。

渡辺氏（NTTデータ）：検出の精度を高める工夫は弊社独自のものも含めてさまざまに行っておりまして、編集の現場からフィードバックをいただきながら「精度を高めること」と「使いやすくすること」の両輪をずっと回して開発を行ってきました。

西海氏（日本テレビ）：検出精度については、約36秒間の動画を使ったベンチマークテストを行っています。

顔の検出テストで処理すべき顔が193人分ある中、他社のA・B社製プロダクトは50人以上の検出漏れがありましたが、BlurOnでは検出漏れを4人に留めています。他社が約70%の検出精度のところ、BlurOnは約98%の検出精度です。

これを処理すべきフレーム数で見ていくと、顔の数×出現フレーム数で全体で2316フレームありました。他社製品では300フレーム以上の検出漏れが出てしまい、これでは最初から人手で作業したほうが速いというのが弊社の現場における結論でした。これに対してBlurOnの精度は実用化に足るもので、検出漏れはわずか7フレームに抑えられています。

また使いやすさの面では、プロの制作現場で一番使いやすいUIや機能を追求しています。弊社の番組でもトライアルを複数実施し、マスクの大きさや頂点数を幾つにするのか、またキーフレームの打ち方をどうするかなど、細かいところまで現場の方と連携しながらユーザーファーストで開発を進めました。

BlurOnはプラグインのためAfter Effecrtsが動くハードウェア環境であれば動作可能。After Effecrtsのバージョンは2021/2022で動作確認済み。

アカウントはIDとパスワードで管理されており、同時利用でなければ複数のマシーンで利用可能です。例えば同じBlurOnをMacBookとiMacにインストールしている場合、片方が作業していない時にはもう一方のマシーンで作業が行えます。

BlurOnの導入先ではモザイク入れ作業時間の大幅削減を達成しています。スタッフが交代しながら96時間連続でモザイク入れを行っていた番組では、約50％削減の48時間で作業が終わったという結果も出ています。

そして、使いやすさを追求したUIや操作方法などの機能面もこの作業効率化に寄与しています。

BlurOnはAfter Effectsのプラグインなので操作を１から覚える必要がなく、自動処理後に修正や調整を行う仕組みにすることで自由度を高めています。またPremiere Proとはシームレスに連携ができるため、Premiere Proユーザーにもスムーズにご活用いただけます。機能はとてもシンプルで、自動検出対象は人間の「頭部」、「顔のみ」、「全身」、車の「ナンバープレート」の４つから選ぶことができます。

まずモザイクを入れたい動画（After Effects上のコンポジション）に対して「調整レイヤー追加」ボタンを押下して調整レイヤーを追加。「映像アップロード」の際にそれぞれの調整レイヤーごとに検出対象を選択します。アップロード後のクラウドでは検出対象ごとのエンジンで処理を行っており、処理状況はブラウザ上で確認することが可能です。処理後は「結果ダウンロード」を押すことでモザイク処理されたマスクが調整レイヤーに反映されます。

「調整レイヤー追加」ボタンを押下すると選択していたコンポジションに調整レイヤーが追加されます

「映像アップロード」時に４つの検出対象「頭部」「顔のみ」「全身」「ナンバープレート」から１つを選択。アップロードは動画尺や回線にもよりますが、一般的なファイルアップロード等と同程度。クラウド側の処理は動画長の１〜２倍くらいが目安です。結果は動画をダウンロードしてるわけではなく、あくまでマスクの情報だけを処理しているのでアップロードほど時間はかかりません。

「処理確認」ボタンで、クラウド上の処理状況を確認できます

「結果ダウンロード」を押下すると、調整レイヤーに自動処理後のマスク情報が反映され、モザイクが完成

「BlurOnチュートリアル動画（基本編）」はこちら

操作手順は簡単ですが、その中でも一押しの機能や特徴についても伺いました。

＜現場のニーズに応えた便利な機能＞

西海氏：BlurOnは複数の検出対象に対して精度良く検出・追従ができます。

４つの検出対象のうち「顔のみ」は人物の顔のみを検出し、「頭部」は後頭部も含めてモザイク入れが行われます。

「全身」は背景ぼかしにも応用できます。例えば映像の真ん中の人物の全身の輪郭を検出して、モザイクを反転することで対象人物以外の背景をぼかすことが可能です。市場の製品の中でこの全身検出に対応しているのはBlurOnだけなのも強みの１つです。

「ナンバープレート」は車のナンバープレートを検出しつつ、動きに合わせてトラッキングを行ってます。画面内にスピードのある車が入ってきても検出精度は良好で、ほぼ修正なしで利用可能な精度です。

検出対象「顔のみ」のモザイク入れ前（左画像）とモザイク入れ後（右画像）。後頭部を含まない、顔面のみを検出します

検出対象「頭部」のモザイク入れ前（左画像）とモザイク入れ後（右画像）後頭部を含む、頭部全体を検出します

検出対象「全身」のモザイク入れ前（左画像）とモザイク入れ後にマスクを反転し背景をぼかした様子（右画像）

検出対象「ナンバープレート」のモザイク入れ前（左画像）とモザイク入れ後（右画像）

渡辺氏：開発当初は通行人の顔にモザイクをかけたいというニーズに合わせて、顔の領域を見つけるという点だけで開発を進めていましたが、実際に現場の方にお使いいただく中で、対象人物が振り返って後頭部が写ったりするとモザイクが消えてしまい、頭の動きによってモザイクがついたり消えたりするのが放送上よくないというご意見をいただきました。そういったフィードバックを踏まえて、後頭部を含めた人の頭部全体を検出する選択肢を持ったのも、BlurOnの１つの特徴かと思います。

西海氏：リリース後に現場からのニーズに応えて追加された機能として「調整レイヤー一括追加」という機能もあります。番組では映像の中でカットが頻繁に変わりますが、BlurOnのプロトタイプでは手動でカットごとに調整レイヤーの範囲を指定する必要があったため、モザイク処理が高速であるにもかかわらず作業ボリュームが大きくなってしまっていました。そこで、アドビのシーン検出機能をもとにカットごとにモザイク処理が行える機能を追加しました。これはカットごとに調整レイヤーを一括作成する機能で、例えば１つの番組で200カットある場合は調整レイヤー200個を一括で作成できます。

マスク情報をOFFにするのは簡単なので、現場ではまず「調整レイヤー一括追加」を使ってモザイクが必要なシーンのカット全てに処理を施します。それをダウンロードして、編集する番組側の意図を踏まえて編集マンとコミュニケーションを取りながら必要ないモザイクを消していくという工程が基本です。作業途中でモザイクを追加したい箇所が出てきても、OFFにしたモザイクをONに戻せばよいだけなので簡単です。

また、報道番組はバラエティー番組に比べると納期が短いことが多いので、１つのコーナーを複数人で分割してモザイク入れを行うこともあります。その場合、モザイク入れのベテランと初心者で入れ方に差が出てしまい、動画を1本に繋げると違和感が出てしまうことも課題でした。BlurOnを使うことでモザイクの統一感が取れるのも利点の１つです。

「調整レイヤー一括追加」機能ではコンポジション内にあるカット点を検出して、カットごとに分かれた調整レイヤーを作成することが可能

現場の声を取り入れて高い精度と使い勝手の良さを両立したBlurOnは、リリース以降、ポスプロをはじめ日本テレビの局内の制作でも大きな成果を上げています。そして、昨今では個人情報保護が重視される動きから、テレビ以外の業界でもモザイク入れのニーズが高まってきています。

導入先での評価と、BlurOnの今後の展望についてもお伺いしました。

＜若い人の離職につながる労働環境を改善＞

西海氏：導入先では、特に２つの課題の面で成果を上げています。

まず１つめの課題は、先に申し上げたとおり膨大な時間がかかる作業を極力避けたいと思っている人が多いということです。非クリエイティブな作業を長時間強いられることで、モザイク入れは若い方の離職につながる原因にもなっていましたが、BlurOnを利用することで改善することができたという声をいただいています。編集マンの作業前の気持ちがだいぶ楽になり、作業時間の試算もしやすくなっているそうです。

2つ目として、全身のモザイク入れ作業が複雑で大変という課題がありました。人物の動きが交差してしまったり、後ろを向いたりすると、その動きに合わせて指や手、腕、肘、肩などパーツを分けてマスクを作って組み合わせて一人の人間のマスクを作る必要があり、修正もかなり手間がかかっていました。BlurOnは全身検出に対応したことで、作業が大幅に効率化されたという声をいただいています。

株式会社日テレ・テクニカル・リソーシズ（NiTRo）では、事前にモザイク処理の設定が細かく指定できるところを高く評価

加藤氏：日テレの複数の番組でも制作スタッフがBlurOnを使い始めていますが、今まで徹夜でモザイク入れの作業をしなければいけなかったのが終電で帰れるようになったという話も聞いています。そもそも職場環境を良くするために立ち上げた開発プロジェクトだったので、労働環境改善の成果が得られたことはとても嬉しいですね。

西海氏：今後の展開としてはユーザーのニーズに応じてモザイクの検出対象を追加していきたいと考えています。

また、テレビ業界だけでなくYouTubeや個人のクリエイター、企業のWeb広告動画など、配信系の領域からも製品についての問い合わせをたくさんいただいています。医療や交通業界からもアクションがあったり、問い合わせを受けて気づいたニーズも多くあります。海外ではAIの学習用データなどで個人が写っているものについてもデータ保護規則が整備されてきていますし、日本でもモザイクの自動処理はさまざまな領域で今後必要とされてくる技術だと感じています。