“現代の魔法使い” 落合陽一が語る、ほんの少し先にある未来 〜Adobe MAX Japan 基調講演レポート〜
11月28日にパシフィコ横浜にて開催された、クリエイターの祭典「Adobe MAX Japan 2017」にて、 “現代の魔法使い” こと落合陽一さんが基調講演に登壇されました。反響の大きかったINSPIRING TALKの書き起こし完全レポートをお届けします。
https://blogs.adobe.com/creativestation/files/2017/12/th_IMG_0472.jpg
みなさんこんにちは。今日は「計算機自然時代の新しい表現」というテーマでお話をします。僕は「メディアアーティスト」なんですが、”メディアアート”って一体何か、みなさん普段考えたことありますでしょうか？
メディアアートとは、「どういうメディアを使って、もしくはどういうメディアを作って表現していくか」を考え、作り出す職業だと思っています。
人間は、その誕生から今までずっとイメージを共有するために2次元の上に絵を書いてきたわけです。例えばラスコーの絵画は、長い洞窟の中に絵が描かれていました。20世紀になったときにそれが時間方向に映像を写せるようになったんです。エジソンやリュミエール兄弟が行ったような、今でいうプロジェクターを使って映像を投影したり、もしくはビデオカメラを使って映像を記録したりということですね。
今、例えばそういうクリエティブに関わるAdobeの製品は、これをコンピューテーショナルに扱うことによって、それを人工知能技術と組み合わせて新しい表現になっていきます。
今まで我々が考えてきたメディア、例えば、望遠鏡だってメディアと言えるし、アニメーション装置だってメディアと言えるでしょう。そうした追求が最終的にスマートフォンで終わりなのかというと、そうじゃない。今後どういう風にものを考えていけばいいのか、どういうメディアを作っていけばいいのかということを僕は日々探求しているんです。そのために研究をしたり表現をしたり後進を育てたり、人と技術と表現が出会う場所を生きています。
1つ言えるのは、今までのメディアは、平面の上、もしくはある額縁や展示会場の中に作られていました。だからフレームで切り取った自然や、フレームにの中にモノを作るという言う考え方が主でした。これからは、それをどうやってフレームの外へ作るか、そしてメディア自体をどうやってクリエイションするかがキーワードになると考えています。
僕もいっぱしのメディアアーティストなので、作品を作ります。僕が”作品”と名付けたものを発表する時には、たいてい、特徴的な見たい「画」、「イメージ」を「物質的に」実現しようとします。例えば「Levitrope」という作品を着想したのは、全天周の360度カメラの映像を見てて面白いなと思っていたのがきっかけ。360度カメラみたいな見た目の彫刻があったら面白いなと思ったんです。
見た人は、浮いているところにびっくりしちゃうんですけど、そこじゃないんです。この作品は空をパキッと鏡で切り取って、そこに鏡面で反射した周囲の映像を貼り付けた彫刻物を作りたかった。
というのも、最初に六本木ヒルズ展望台の東京シティビュー（52階）の窓辺に置く作品を作って欲しいという企画だったんですね。元は屋外用に作った作品だったんですが、それを改修してリニューアルした。メディア・インスタレーションを作る時は、環境をどこに置くかがすごく重要なんです。美術館や展示スペースという白いキューブのためのものではなくて、現実の空間もしくは彫刻物として、その環境に馴染むようなものを作るのがすごく重要なんじゃないかと、僕の作家性のなかでは考えています。僕が最近特に力を入れているのはそれをもっと自然な場所に入れていくっていうことですね。
他の例もお見せします。これは去年、茨城県の県北地域で行われた『県北芸術祭』で展示した作品（『Colloidal Display』）です。この中学校って、去年まで廃校じゃなくて普通に生徒がいたので、まだ夏休みっぽい雰囲気がちょっとだけ残っていたんですよ。その空気感をうまく使って作品を作ろうと思いました。面白いのは、山の中の中学校なので窓の外にバキっと山が見えること。窓がいっぱいだし、明るいので、普通にプロジェクターの作品を作っても映像としてきれいに写らないという状況だった。
この作品は、半透明なシャボン膜に超音波を当てて膜を細かく振動させることで映像を写す作品です。自然に環境のなかに溶け込んで作品が動いているように見える。こうした、立体物が映像やコンピューターテクノロジーと組み合わされたものを環境の中にどうインストールするか（設置するか）という試みをずっとやっています。
同時に展示した『幽体の囁き』という作品は、超音波スピーカーを使って、どこからか音が聞こえてくるという作品です。廃校って元は人がいっぱいいて、いろんな声が聞こえるはずなのに、その声ってどこにいっちゃったんだろうというテーマの作品です。机の側にはスピーカーがないので、どこから聞こえてくるのかわからない。これは裏話ですが、設営する時、夜になるとものすごく怖かったですよ。
こうした作品を作るうちに思うのは、我々が今「自然」だと思っているもののなかに、スピーカーが紛れ込んでいたとしても、人間はそれでも自然だと思っちゃうんじゃないかということです。例えば山を登っているときに鳥の鳴き声がしたとしても、本当にそこに鳥がいるかどうかはわからない。
今まではディスプレイやスピーカーから音を出していたから、フレームでコンテンツが切り取られて、そこに「特別なもの」がある安心感がありましたが、空間自体から音が鳴ったり、離れたところからオーディオビジュアルが飛んできたらそれは全然違う表現になってしまうかもしれない。
そういうことをメディア自体から探求していくことを、ずっと学生の頃からかれこれ12年ぐらいやっています。
これは一昨年、筑波大に着任したころやってた仕事（『Fairy Lights in Femtoseconds』）で。フェムト秒レーザーというものすごくパルスの短いレーザーを使って、100兆分の3秒という短いパルスで空間にある空気の分子をプラズマ化するプロジェクトです。似た装置は10年以上からあったんですが、すごく危険で、人間が触れるような状況にはありませんでした。
それがこのパルスの短いレーザーが出来たことで、三次元描画が進歩できるだろうと思った。そこで画面の外、三次元の空間に描ける装置を作りました。空中に静電気が止まっているような感じです。エネルギーが小さいので、手で触っても大丈夫。映像をそこに出しているだけなのに、取材に来たメディアの方が、「何かが浮いている」と言うのが面白いと思いました。モノが浮いてるわけじゃないんですよ。
こうやって画面のフレームの外に物をひたすら作り出していると、デジタルが、フレームを飛び越えて「自然化」していくのがわかります。我々が普段見ている機械じゃなくて、自然の一部としてデジタルを捉えることができる。これが「計算機自然時代」、デジタルの自然化です。一昔前、これはカームテクノロジーと呼ばれたかもしれない。しかし、我々は技術というフレームさえ飛び越えて、それと自然の区別がつかない状態に近づいている。これが重要なキーワードになっていきます。
■人間の行動が記録されて価値を持つ
https://blogs.adobe.com/creativestation/files/2017/12/th_IMG_9592.jpg
例えば僕、「ブロックチェーン・オブ・エブリシング」って言っているんですけど、あらゆるものがトークンエコノミー（世の中の様々な事物の権利や価値をトークン／証券化する経済）によって金銭化したりとか、ブロックチェーン化してくると、あらゆるものはデータとして表現されて、そのデータとして表現されたものにあらゆる価値がくっついてくるようになります。
今、ビットコインの相場もイーサリアムの相場も変わり続けていますが、それって、自然の波が動くように互いに価値が交換されている状態ですよね。
これって面白いのが、自然のものって、水面には何のプログラムもされていないはずなのに石を投げると水しぶきが立ったり、手を叩いたらここから音がしたりする。物理法則が記述されていることで、あらゆるものとあらゆるものの価値関係、もしくは物性関係っていうのが交換可能だったり、物理的に記述されていたりするわけです。そうやって、互いの「変換」をどうやって行っていくか、計算機のコードによって記述され、あたかも自然における物理法則と似たような状態になった空間というのに徐々に自然が、世界が、「なっていく」んじゃないかと思うんです。
例えば僕を「タイムバンク」というアプリで検索すると、メルカリみたいに、僕の時間が買えるんです。本来、インターネットで購買できる商品と人間の時間は全く違うものでしたよね。僕の1秒とジャケットが交換できるかもしれないし、違うパラメーターで交換されるかもしれない。そういう記述がされているような世界になってきている。物々交換しようとするするときにも物理法則が働くような、そういったコードの世界になりつつある。
その反面、認知の上では、目の前にある水槽の中の金魚と、その空間にあるデジタルの金魚は解像度の違いこそあれ区別しない。だってみなさん、金魚を水槽から取り出して撫でたりしないですよね。金魚の触り心地を楽しむために金魚を飼ってる人って、多分いないと思うんですけど。そうやって、「ビジュアルに」「パーセプチュアルに」「感じる」「もの」と、「物質」として「存在する」ものの区別が徐々につかなくなっているんです。
僕らは最近網膜投影とか透過型ディスプレイの研究をしています。今まで、フレームの中に収まっていた情報を、どうやったらその外側に、空間に出すことができるか？やがて、スマートフォンで見るのもばかばかしくなってくる位、空間で直接ものを見ることが普通になってくるでしょう。
https://blogs.adobe.com/creativestation/files/2017/12/th_IMG_0483.jpg
スマホの次のパラダイム、僕は”グラス”だと思っています。スマホを超えると、人はイルカ化すると思うんです。イルカって、よく、音波でコミュニケーションするって言われてますよね。イルカは、音波で空間の3次元形状をとった上で他人に向かってコミュニケーションしていると言われています。
いまの人間は、目で見たものを言葉や絵で描いてしか相手に渡せないんです。目と耳を使ってコミュニケーションをとるのに、筋肉しかアウトプットがついていない。もしイルカ的に僕らを捉えなおすなら僕らの指先にプロジェクターがくっついていて、相手の目、網膜に投影できれば直接相手にコミュニケーションできるでしょう。それなのに、僕らは今、便利になったとはいえ、スマートフォンの決められたフレームと、そこに付いているカメラでしかコミニケーションできないんです。でもそれは、やがて突破されるべきだとろうと思っています。
例えば、空間に音と光を3次元化すると、イルカみたいにですよ、空間の中に一点だけ音を鳴らすスピーカーを作り、空間に音波の焦点を作って、とある点だけで音が鳴るようにする。そうすると、声でコミュニケーションしている時には全員に聞こえていたものが、特定の人に違う言語を聞かせることもできる。
こういうのって、やってる事はイルカとあまり変わらないです。イルカの頭の中にはメロンという脂肪細胞の集まりがあり、そこで超音波を音響レンズ的に変換して、そのビームによって周囲を撮影したり、小魚をアクチュエーションしたり、他人にコミュニケーションしていています。我々にとって、そういう意味を持つ構造のメディアはいつか作ることができる。そしてその互いの関係性を「機械学習」や「コード」で変換し得るかということが、次のパラダイムだと僕は思っています。
■機械学習で変わるモノづくり
つまり、我々が映像で表現するものや、コンピューターで機械学習で画像認識されるようなものの外側に、きっと物性とか物質とか、あと波動によって記述される3次元空間が、どういう風に互いに変換し得るかっていうのが記録されるような、コード記述を基礎に置いた認知的に拡張された自然世界がありうると思うんです。
僕らもそういうような世界になると思うので、それに対して貢献しようと技術的にも頑張るわけです。例えば、じゃあ僕らがよく使う「ホログラム」、これは立体映像という意味じゃなくて、波の位相差記述などによってできるものですが、それっていうのはニューラルネットかとか、古典的な機械学習手段でどうやって、目的の形状や波に合わせて、ホログラム側を最適化できるかみたいなことをよく研究しています。
そのなかでも近頃僕らがちょうど興味を持っているのは、実は3次元空間をボクセル（3次元のブロック）で表現するよりも、位相差記述などで2次元に転写した方が、使う計算機の資源量が少なくても、学習できるみたいな結果が最近出たこと。そうすると我々が今空間を認識しているこの空間それ自体が、もうちょっと違う形で記述されるべきなんじゃないかみたいなこと、例えば違う多様体で表現するとか、波の記述形式や立体の記述形式を変えることなどに取り組んでいたりします。こういう風に、機械学習をいれるようになると、ものやメディアを作るアプローチが全く変わってくるんです。
https://blog.adobe.com/media_9032f969c217d744fd3013545211f345e5591e55.gif
『DeepWear』加藤奈津実, 大曽根宏幸, 佐藤大哲, 村松直哉, 落合陽一
これは、『DeepWear』というDigital Nature Groupの研究です。ディープラーニングでは、データセットを集めてくることが重要です。僕の研究室のなっちゃん（加藤奈津実）が、ファッションが好きで、なかでもとある服のブランドが好きだと言うんですね。そこで逆に、最後の工程のファッションショーの画像を機械学習させて、出てきたデザインスケッチを使ってパターンの職人さんに発注したんです。そして出来た服と、オリジナルブランドの服が、どれが本物かわからなくなってしまう。そのブランドのマニアの人には、ブランドの服がどれかということはバレたんですが、僕達が作ったブランド風の服と、他のブランドの区別はつかなかった。こんな感じで、誰かのクリエーション自体が一階層「メタ化」するんです。
こういうものって、今、すごくお手軽に試せます。他にも、Digital Nature Groupの研究で、僕が大好きなマジック・ザ・ギャザリング（TRPGのゲーム）のカードを機械学習でデザインするとすごくそれっぽくなったり。大量のスニーカーを機械学習で学習させて、デザインしたらアディダスっぽい靴が出てきたり。
テクニカルには面白いことではないですが、データセットをどう集めて、どういう入れ方をするのかによって、全然面白いアウトプットが出てくるんです。
そうなってくると、僕らって昔はプログラムを書くのが仕事だったけど、面白いデータをちゃんと集めてきて、ちゃんと処理をしてどう入れるかということが仕事になってくる。以前だったらデザイナーさんがやっていた、機械に対して情報を揃えてあげるというアプローチをすることがプログラマの仕事になる。
今までは、僕らは言語でデザインやプロセスを記述したり、デザイン言語と言われるもので表現してきた。そうじゃなくて、ニューラルネットワークで記述されたパラメータそれ自体の交換や、物理現象そのものでコミュニケーションするようになるような気がします。
つまり、一回意味として聞いて言語化して、あたかもオートエンコーダーのような情報圧縮をしてコミニケーションするんじゃなくて、現象がそのままあって、対象物がそのままあって互いにコミュニケーションしあうような、それはきっと三次元的にホログラムを送りあっている、そうだな、イルカみたいな感じになってくると思うわけです。
■現代は”魔法の世紀”
https://blogs.adobe.com/creativestation/files/2017/12/th_IMG_0581.jpg
それでは最後にまとめます。近代以前は、どうやったらものができるがわからない時代だった。例えば細菌の存在を知らなかったので、「瓶詰めを炙ると邪が消える」なんて言っていた。それが科学が出てくることで、細菌が腐らせていたということがわかる。こういう指摘はマックスウェーバーが昔、魔術から科学へという表現で行っていました。
それが高度に発達して、例えば今はコンピュテーショナル（コンピューターを使って処理すること）に、CRISPRとかもそうですが、ゲノムがいじられたり、もしくは最適化された機械学習の結果とかが出てくる時代です。今やもう、どうして動いているのかわからない。スマートフォンの設計図を見てもわからないし、中がどう動いているのか、ICを見てもわからないでしょう。
だから今、魔術化の時代になっているんですね。僕は”魔法の世紀”と呼んでいますが、そういうような時代になっている。これは昔モリスバーマンが指摘していたようなことです。
しかしこの後、色々なものがエンドトゥエンド（端末相互間）AIによって、これは現象と現象のやり取りで、部分は全体を内包し、全体は部分に縮退され、互いに繋がってくる。変換されてくる。例えば波動から物質に変わるとか、対象物を入れたらそれを記述するように最適化されたパターンが出てくるとか。その変換がコードによって、無意識的に行われるコンピュータとか変わりながら生きることになる。それは、これから我々にとっての「新しい自然」の中にある互いの「関係性」を、どうやったら機械で記述し、記録し、更新していけるかっていう大きなパラダイムだと思います。
そうすると、今の僕らがフレームのなかで、ピクセルで、もしくは画面の上で表現していたのが、どうやったらメディア自体、そこから1歩引いた、メタ
的な記述空間、コードやモデルで記述されたようなソフトウェアで、「もの」が作れるのかを考えなければならなくなってくる。今までコンテンツだったものを、コンテンツじゃなくてメディアとか、プラットフォームとか、サービスというものを、こんピューテーショナルな相互作用を使ってクリエーションしていくっていうのが、「計算機自然「時代の新しい表現なんじゃないかなと思っています。