Adobe Senseiと一緒に素材を探す！Adobe MAX Japanで体験したこれからの画像検索

Adobe MAX Japan 2017の展示エリアでは、「Adobe Senseiでここまで進化」と題し、現在開発中の斬新な画像検索機能が実演されていました。Adobe Stockコーナーに立ち寄った方は、ご覧になられたかと思います。

当日来場できなかった方、会場で忙しくて立ち寄れなかった方のために、この記事では、これから使えるようになる（かもしれない）、Adobe Senseiが可能にする、新しい素材検索の形をご紹介します。

※展示エリアのその他のコーナーについてはこちらの記事（Adobe MAX Japan 2017から。展示エリアの様子をご紹介）をご覧ください。

Stacker

スタックは「積み重ね」を意味しますが、Stackerはその名の通り、複数の条件を積み重ねて画像を絞り込む検索機能のプロトタイプです。特徴的なのは、画像や色を絞込みの条件に使用できることで、「2つの画像の特徴を併せ持つ画像を探す」のような使い方が可能です。

下の画像はStackerのインターフェースです。レイヤーパネルのように見える箇所（中央左）に検索条件が積まれます。一番上に表示されているゴールデンゲートブリッジが検索の基準となる画像で、その下の5つが絞込みのための追加条件です。その右側にタイル表示されているのは、検索結果の画像です。

画像を検索条件に積み重ねる

では、実際の使い方をみていきましょう。まず、エッフェル塔の写真を検索条件に指定したのが下の状態です。同じような特徴を持つ写真をAdobe Senseiがたくさん見つけてくれています。

ここに、新しい検索条件として、海に沈む夕日の写真を追加しました。重みが50%と指定されているので、この写真の特徴は、最初の写真の特徴の半分の重要度で扱われるということになるのでしょう。

結果を見ると、赤い空の写真が増えていますが、半分以上は青空の写真です。重みが半分とはいえ、ちょっと意外な結果ですね。

細かく見ると、最初の結果よりも空に雲の少ない写真が目立つようです。どうやら、Adobe Senseiは、2枚目の写真について、赤い色だけではなく、雲が少ないことも特徴、と捉えたようです。

色を指定する

もし、夕焼けのエッフェル塔の写真が欲しくて、2枚目の写真を選んだのだとしたら、上の結果はちょっとがっかりです。とはいえ、写真には当然色以外の要素も含まれていますから、このような結果になることは避けようがないでしょう。

そこで（？）Stackerには、抜かりなく色を絞り込み条件に追加する手段が提供されています。

デモでは2種類の方法を見せてくれました。一つは直接カラーピッカーから色を指定する方法です。下の画像は、新しい絞込みの条件に、やや暗めのオレンジ色を指定しているところです。

結果を見ると、まだ青空の写真がそこそこ残っています。空以外の場所でも指定した色が含まれていれば、条件に一致すると判断されているようです。確かに「オレンジ色の空」という指定をしたわけではないので、これは妥当な動作と言えるでしょう。

さて、色を条件に追加するもう一つの方法です。こちらは写真の中で使われている色から選択します。まず、絞り込まれた写真の中から1枚を選びます。下の画像は、上の画像の4行目の左から2番目の写真を選んだ状態です。選択した写真はワークスペースの右上に表示されています。

下の画像は、ワークスペース右上の領域を拡大表示したものです。5色のカラーパレットが並んでいるのが分かりますね。これらは、写真の中からピックアップされた色なのだそうです。そして、カラーパレットの上には2つのボタンがあります。左は写真を検索条件として、右はカラーバーレット内の選択された色を検索条件として追加するボタンです。

実は、上の画像は左のボタンを押した後の状態で、そのため選択した写真が条件リストの一番下（画面の左端）に追加されていたというわけです。

両方のボタンをクリックして、写真も色も検索条件に追加するのは問題無くできます。また、追加した条件は、有効／無効の切り替えが可能です。なので、後から「写真は無しでやっぱり色だけ」にすることも簡単です。

タグから始める

タグも検索条件に使用できます。下の画像では、「FOREST（森）」というタグが最初の条件に指定されています。

更に、追加条件に色が指定されています。今回はHSLでの指定です。彩度と輝度の指定は「0-10」とスケール全域なので、実質、色相だけが絞り込み条件に使われています。色相の指定は「0-5」であることから、「赤-黄-緑-アクア」の範囲辺りが対象ということになります。

上の状態から3つのスライダーを操作したのが下の画像です。色相が1-4に変更されたため、対象範囲は「オレンジ-黄-緑」程度まで狭まっています。また、彩度が「4-10」とやや鮮やか目、輝度が「0-7」とやや暗めの指定になりました。検索結果は、順当に条件を反映したものになっているようです。

（参考）Adobe Senseiの自動タグ付け

既に実用化されているAdobe Senseiの自動的タグ付け機能ですが、まだまだ改良が行われているようです。

下の画像の例では、「猫」と「カボチャ」の認識はもちろん、「ハロウィーン」や「秋」の様な間接的な情報のタグや、「かわいい」「愛らしい」のような情感を表すタグも関連付けられています。

Selective Similarity

画像を用いて検索を行うとき、「全部じゃなくてここだけ使いたい！」となる場面は容易に想像できます。そんなときに使えそうな機能のプロトタイプが紹介されていました。Selective Similarityは、特定のビジュアル要素だけ選択して検索条件にできるツールです。下の図がそのインターフェースです。

ワークスペース中央の大きな写真が検索条件になっている写真です。この時点では写真全体が検索条件になっています。右側は検索結果で、類似した特徴を持つ画像が並んでいます。テーマは花と蝶々でしょうか。

ここで、ブラシを使ってチョウだけ塗りつぶします。すると右側の欄には、同じような模様のチョウの画像が並びました。このようにして、写真の中の特定の対象物だけを検索条件にすることができます。

その反対に、「ここだけは含まない」という指定もできます。塗りつぶされた領域は除外したいという指定に変えると、今度は花だけの写真が右側に表示されるようになりました。

この機能と、上のStackerを組み合わせて使えるようになると、かなり柔軟に画像を使った絞込みができるようになりそうです。

Diversify

これはかなり実験的な印象が強かった機能です。人物画像を選ぶ際に、人種を基準にして選ぶというもので、選択肢には、黒人、白人、ヒスパニック、東アジア、南アジア、の5つがありました。下の画像は、黒人10%＋東アジア90%を指定したところです。

日本人に近い顔立ちが多いように見えます。次に、東アジア70%＋南アジア10%を指定したのが下の画像です。確かに少し雰囲気が変わりましたね。（残りの20%の扱いが気になるところです）

Concept Canvas

Concept Canvasは、2016年のMAXスニークスで紹介された同名の機能の発展形です。当時は、Photoshop内で動作する機能としてデモされていましたが、今回は、ブラウザの中で動作していました。

使い方は簡単です。カンバス内に図形を描き、それにラベルを付けていきます。下の画像では、横長の楕円には「サーフボード」、その上の円に「犬」とタイプされています。すると、これにマッチした画像を検索してくれます。

サーフボードとイヌを含む画像が表示されました。世の中には波に乗れるイヌが実際にいるようです。

次は、サーフボードの上の円を少し大きくして、ラベルを「女性」に変えてみました。どんな結果になるでしょうか？

見事にサーフボードと女性の写真が選択されました。円の大きさを変えたことが反映されているのかどうかまでは、この結果だけでは判断が難しい感じです。

もう一つ例を見せてくれました。今度は、「男性（または人）」の左上に「バックパック」の円が配置されています。

今度もちゃんと、左側にバックパックを背負った男性の画像が表示されました。図形の位置関係は反映されていると言って良さそうな結果です。

更にふたつ要素を追加しました。右側のスペースに大きな「山」が足されています。また、男性の足元には「雪」が配置されました。

その結果、山岳地帯の写真が並ぶこととなりました。足元に雪のない写真があったり、必ずしも右に大きな山があるわけではないことから、指定する要素の数が増えると、結果の曖昧さが増加するらしいことが見て取れます。

Sketch with Style

ラフスケッチから素材を探してくれる機能です。今年10月に開催されたMAXのスニークスでも似た機能が紹介されていましたが、あちらはAdobe Stockから3Dモデルを検索する機能でした。こちらは、Behanceから作品を探してきます。下の画像では、花を描いた作品が検索されています。Adobe Senseiは、写真に限らず幅広い表現が理解できるようです。

作品スタイルを指定するフィルターも付いています。下の画像では、自転車のスケッチに加えて、「楽しい」がフィルターとして指定されています。楽しそうな作品が選ばれているように見えるでしょうか？この他にも、「水彩画」「オイルペイント」「コミック」などのフィルターが用意されていました。

どのくらいまでラフでも認識されるのかは気になるところです。

（おまけ）PhotoshopのSelect Subject

MAX Japanの会場からではありませんが、同じタイミングでPhotoshopチームからAdobe Senseiを使った開発中の機能が発表されました。ワンクリックで写真の中の人物等を選択する機能で、将来のPhotoshop CCに搭載予定だそうです。

様々な画像から何がどのように切り取られているのかをAdobe Senseiが学習しているため、切り取り方だけでなく、切り取る対象もAdobe Senseiが判断できるようです。そのためワンクリックで選択ができるという理屈なのでしょう。実際の動作は下の動画をご覧ください。

動画内ででSelect Subjectの動作を示すため、人物を選択した時の結果が下の画像です。よく見ると、影の部分が選択範囲に含まれていますし、左手は選択範囲に含まれていません。この先の調整作業はまだ必要です。

このような状態でPhotoshopチームが一般公開していることから推測するに、おそらくSelect Subjectは、人に代わって切り抜きを完璧に行う機能ではなくて、選択作業の生産性を上げる機能と位置づけられているのでしょう。選択とマスクワークスペースでも利用できるようなので、最初の一歩が更に楽になりそうです。

もちろん、苦手な種類の写真もあるでしょうが、Adobe Senseiの学習が進めば、どんどん精度は向上すると思われます。どの程度使えるものになるのか、今から一般公開が楽しみです。