Illustratorから始まった、Adobe Senseiチームが目指す次世代のAIとデザインツールの構築 | アドビUX道場 #UXDojo

連載

エクスペリエンスデザインの基礎知識

パーソナルアシスタントは、スマートフォンから自宅や車の中まで、あらゆる場所に存在します。こうしたAIを活用した支援機能は、作業をより容易により素早く行えるようにして、人々の生活を助けています。これは、AIが人に応答して、人の動きを予測する機能を備えているためです。では、AI技術がクリエイターの創造力を増幅させ、制作過程を楽にするためには何ができるでしょうか？この問いは、Adobe Senseiチームのエンジニアリングマネージャーとしてアドビのアプリの支援機能の開発チームを率いるブライアン・エリックソンにとって、そしてチーム全体にとって重要な質問です。

「私たちの目標は、AIとコンテンツの分析から得られたインサイト（洞察/知識）を使って、ユーザーのデザインプロセスを支援することです」とブライアンは語りました。「この支援機能はユーザーの状況を観察します。例えば、ユーザーが何をしているか、それまでに何をしたかなどの事柄です。次に、それを根拠にこれから先を予測して、関連するコンテンツ、ツール、ワークフローを推薦します。私たちが思い描く支援機能は、デザインのひらめきを得る助けとなり、反復作業を減らてし、新しいアプリケーションに慣れることを容易にするものです」

クリエイティブなプロフェッショナルのためにどんな取り組みをしているのでしょう？

最初の実装は、Illustratorにフォーカスしてきました。アプリの拡張機能を利用してアプリ内にAssistantパネルを表示し、そこに、ユーザの行動データとコンテンツに対する理解から抽出されたすべての関連するインサイトを提示するようにしました。インサイトは「カード」として表示されます。その中には、ユーザーが何らかのアクションを取ることができるように、インサイトの簡潔な要約が表示されます（色の組み合わせの変更、オブジェクトの削除など）。ユーザーの一連の行動、例えば、ツール切り替え、コマンド実行、文書のプロパティ変更のようなイベントを分析して、そこから、AIが、最も関連性の高いインサイトを推論してユーザーに提示します。こうして得られたインサイトは、色の分析やオブジェクトの認識といったコンテンツインテリジェンスと、アプリのツールとを結びつける鎖のようなものだと考えることができます。

アドビのエンジニアマネージャーのブライアン・エリックソン

例えば、Illustrator内でたくさんのアセットの色を変更するのは時間がかかる作業になることがあります。さらに、アセットへの色の割り当ては、理想としては色彩理論のルールとガイドラインに従うべきです（一緒に使用するのに適した色を使い、衝突する色を避ける等）。開発チームは、色の組み合わせを事前に行う機能を開発しました。この機能は、（1）ユーザが色の変更を行う可能性があるタイミングを検出し、（2）現在編集中のアセットを分析して理論的に最適な色の再割り当ての案を見つけ出し、（3）何千もの色の変更をユーザがクリックひとつでアセットに適用できるようにするものです。

いくつもの異なるアプリケーション、異なるツール、異なるインタフェース、そして異なるユーザーの期待を扱えるような、柔軟な支援プラットフォームの構築は当然ながら困難な作業です。アドビのクリエイター支援プラットフォーム「Assistant」は、次の3つの主要なレイヤーで構成されます。

この3層（バックエンド、フロントエンド、デザイン）のスタックは、機械学習とAIのインサイトが直接ユーザー体験に影響するAIの形態のひとつです。一般的なAI、すなわち、データの収集と整理や、モデルの構築とトレーニングに重点を置いたバックエンドのみのAIモデルとは大きく異なるものです。私は、アドビをこの領域の先駆者だと見ています。Assistantを構築するにあたり、私たちは、AIのインサイトをユーザのワークフローの一部にするための一歩として、相当な労力をフロントエンド開発とデザイン作業に費やさなければなりませんでした。

Assistantをクリエイティブな世界に持ち込むために直面している課題は何でしょうか？

他のスマート支援機能では、「アレクサ、音楽かけて！」のような口頭の命令からユーザの意図を推測することのみに集中するケースが大半です。アドビの場合は、その時点におけるユーザーの状況の理解も必要な点が異なります。例えば、PhotoshopやIllustratorのアートボードに現在あるものは何か？Premiere Proで編集中の映像コンテンツは何か？などです。ユーザーの意図とコンテキストの両方を理解すれば、Assistantの体験を大きく前進させることができます。

そのため、Assistantプラットフォームの要件には、そもそもの挑戦である「ユーザーの意図を導き出すこと」に加えて、コンテンツインテリジェンスを使用して「ユーザーの状況を検出すること」が追加されています。幸いなことに、Adobeでは近年、状況の推測に使用できる幅広いコンテンツインテリジェンスAPIを作成するために、多大な投資がなされてきました。

AIによる支援テクノロジーに興味を持つようになったきっかけは何ですか。また、どのようなキャリアを過ごしてきたのですか。

ウィスコンシン大学で機械学習と人工知能を学んだことが始まりです。私の博士研究のテーマは、インターネットトポロジ（インターネットの地図）の一部を、限られた数の観察結果を使って解決することでした。興味深いことに、この技術は、ユーザーの映画の好みを推測するといったレコメンドシステムや、パーソナライズの問題にも適していました。

そこで私はエンターテインメント企業Technicolorに入社し、研究者としてパーソナライゼーションのアルゴリズムを使った新しいアプリケーションの開発を試みました。心拍数や皮膚コンダクタンスなどの生体反応を使って映画コンテンツに対する個人の反応を推測したり、他にもさまざまな問題に取り組みました。別の研究者と共同で起業を試み、ハリウッド中を駆け回って技術を売り込んで、映画業界の市場調査のやり方を破壊しようとしたこともあります。

この技術の市場は期待していたほど早く実現せず、その間に私はマネージャーになりました。そうして、AIとデータ分析における革新的な研究の支援を直接行うことになりました。チームの協力を得て、映画の特殊効果をより効率的に制作したり、DVD/Blu-rayの制作で歩留まりを向上させたり、家庭用電化製品で会話型チャット・ボットを実現するためのモデルとアルゴリズムを提供したこともあります。

数年にわたり研究チームを率いた後、私は、より多くのユーザーに革新的な技術を届けられる環境で働きたいと思いました。アドビのSensei&Searchチームは、革新的な最先端の技術に注力しながら、顧客に大きなインパクトを与える力を持っています。Senseiのエージェントチームに参加したとき、チームをゼロから構築することができたため、献身的なユーザーのためにAssistantプラットフォームを構築するという課題に取り組むための適切なチームを得ることができました。

アシスタント技術に関わりたいと思っている人に対するアドバイスはありますか?

柔軟性を持つことです。アシスタントプラットフォームを機能させるには、関連するあらゆる要素技術が必要です。私たちのチームであれば、新しいUI/UX、効率的なフロントエンドアーキテクチャ、データを転送するマイクロサービス基盤、実際にML/AIのインサイトを実行するマイクロサービスがそれにあたります。私のチームではすべてのメンバーが全体に責任を持っています。「これはしたくありません。私の領域ではありません」という言葉は口にすべきではありません。アシスタントの領域に関する課題の数と革新のスピードを考えると、それは私たちにはない贅沢です。

あなたのチームはSenseiエージェントで何を達成したいのでしょうか?

私たちの目標はクリエイティビティに対する障壁を取り除くことです。ソフトウェアを学ぶ時間の有無によって制作する能力が制限されるべきではありません。すべての人がクラスを受講できたり、学習に専念する時間を確保できるわけではありません。

私たちはアドビのCreative Cloud製品にクリエイティブなアシスタントを組み合わせて、私たちのビジョンを実現したいと考えています。アシスタント機能が、ツールを使う敷居を下げ、インスピレーションを得るためのコンテンツの入手を容易にし、よりパーソナライズされてコンテキストに合った体験をユーザーに提供できるようになることを期待しています。

この記事はAdobe Sensei Stories: Meet Brian Eriksson, Engineering Manager Creating the Creative Assistant of the Future（著者:Patrick Faller）の抄訳です