3DとARによって思い出を再現する研究 #イマーシブ #AdobeResearch #AdobeLife

サンノゼにあるアドビの研究機関 Adobe Research でリサーチサイエンティストを務めるドゥイグ ジェイラン（Duygu Ceylan）は、アドビのイマーシブ製品を支える、最先端の3D技術の研究に取り組んでいます。コンピューターグラフィックスで博士号を取得し、過去にアドビのインターン経験もある彼女は、人の動きの三次元的な形状とメカニズムを捉えることで、イマーシブなクリエイティビティをサポートする新たな方法を模索しています。

https://blog.adobe.com/media_d2423aa57c25d41fb8538d887a6be7efb696b0a4.gif

ドゥイグと同じくAdobe Researchで働く、メレディス アレキサンダー クンツ（Meredith Alexander Kunz）が、ドゥイグに最新の研究成果とAdobe Researchで働くことについてインタビューをしました。

―コンピューターグラフィックスを専攻した理由を教えてください。

私はトルコで育ち、その時から数学が大好きでした。コンピューターサイエンスの勉強を始めたのも、数学との関連性が高かったからです。コンピューターグラフィックスとの出会いは、芸術に対する情熱がきっかけでした。私は芸術クラスを受講していましたが、アーティストとしてキャリアを形成することの難しさを感じていました。そこで、コンピューターグラフィックスは、視覚的要素が非常に強いので、「これが私の（考える）芸術だ」と、芸術にたずさわる手段を与えてくれたと思っています。

―3D画像に関する現在の研究内容について教えてください。

私の研究では、一連の画像、1枚の画像、動画などから3D情報を収集する方法と、こうした情報を活用して今までにないクリエイティビティを実現する方法を模索しています。

博士課程の研究テーマは、2D画像から3D情報を取得する方法でした。同一オブジェクトに複数の画像がある場合、そのころは、建造物がおもでしたが、オブジェクトの3Dモデルを作成できることを学びました。現在も高いレベルで同様の課題に取り組んでいますが、今はより人間主体となっています。

私の発表論文の中には、人や動物の動きのキャプチャをテーマにしたものがあります。複数の深度センサーがあれば、人物のパフォーマンスや動物のアクションを記録することができます。次に、モーションシーケンスを3Dで再構築します。対象物に動きがある場合は扱いにくいのですが、3Dの正確な再構築により、私たちの思い出を3Dでキャプチャし、仮想環境で再現できるのですから、これは目指す価値のある研究テーマだと考えています。

個人的に最も魅力を感じている点は、3D画像はユーザーが目にする最終的なアウトプットでない場合でも、画像や動画の編集など、他のアプリケーションを実現するための、中間的な表現物として機能します。例えば、3D環境で作業を行うことで、シーンにオブジェクトを追加することや、ARのように人物を重ねることが可能となります。

こうした研究の大半は現在も進行中です。私の研究成果で、2018年のPhotoshop Expressの機能に採用されたものが1つあります。それは3D顔追跡とペイント機能です。ユーザーはカメラビューで顔の3D形状を追跡し、顔の動きに合わせて、アーティストの作成したカラフルなタトゥーを配置できます。

―この分野の研究者として、進化のスピードが上がっていると感じますか？

技術的な側面で言うと、この分野は非常に急ピッチで進化しています。ArXivなどの研究共有サイトでは、イベントより前に研究成果が公開されているため、コンピューターグラフィックスの研究カンファレンスで紹介されている論文は、すでに古く感じられることもあります。短期間で成果を出すことのプレッシャーが高まっています。

「提出段階では、私たちの方法は最先端でした。提出後にもっと数字のいい論文が2、3件出ましたが、私たちもアルゴリズムを改良しており、さらに上の数字を達成しました」といった話は、カンファレンスのプレゼンテーションでのあるあるですね。

―コンピューターサイエンスの世界で起こっているその他の変化について、気づいた点があれば教えてください。

文化的な側面で言うと、多様性に関する話題が増えています。こうした変化はコンピューターサイエンスに限らず、あらゆる場面で見受けられます。人々はこれまで以上に積極的な発言をしており、私たちは対話を続ける必要があります。

アドビは、企業として多様性の発展に取り組んでいます。私はアドビがパートナーになっている女性向けのリーダー育成プログラムである「Women Unlimited」、また、アドビ独自の女性リーダー育成プログラムである「Voice and Influence」と「Leadership Circles」、そして、アドビ初の女性サミットである「Adobe and Women Summit」に参加しています。こうした機会のすべてに感謝しています。

―Adobe Researchの一員でいることは、この分野の研究の発展にどのように役立っていますか？

業界のリサーチラボという点で、Adobe Researchは、発表と製品のバランスが非常に優れていると思います。私が大学院生だった頃、発表論文を通じてAdobe Researchのことは知っていましたので、インターンに合格した時は、本当にうれしかったです。Adobe Researchでは科学者とインターンたちはともに助け合っており、私はそこでの環境を楽しみながら研究をしました。卒業時には、Adobe Researchは私にとってとても大切な存在となっていました。その後、フルタイムの研究者として戻ってこられたのはとてもラッキーだったと思っています。

今では、毎年入ってくる数多くの素晴らしいインターンとともに、研究を楽しんでいます。今年の夏は、2人のインターン生と、いくつかのプロジェクトの共同メンターも担当する予定です。Adobe Researchには最高のリソースが揃っており、私たちのプロジェクトに関わる世界中の学生や教授とコンタクトを取り、彼らとのコラボレーションを開始することが可能です。

私がAdobe Researchを心から気に入っているところは、極めて多くの優秀な人材に囲まれているという部分です。コンピュータービジョンやディープラーニングなど、新たな分野の探求も簡単に始めることができます。ここには、学びを奨励する環境が根付いているのです。

本ブログは、2018年6月6日にAdobe Life Blogに掲載された記事の抄訳です。
Adobe Researchについての最新情報は、こちら（英語）をご覧ください。また、アドビの採用情報については、こちらをご覧ください。