YCAM[山口情報芸術センター]の映像エンジニア、デバイス・エンジニアの今野恵菜さんによるサンフランシスコの科学館・Exploratorium研修記『先行きプロトタイピング』第6回目です。今回は、もし人間がコンピューターの視線を体得したらどうなるのかという発想を元にした企画について書いてくれています。
文＝今野恵菜 写真＝今野恵菜・© 2017 Exploratorium
今回は、私がExploratoriumでの研修の集大成として最後に行ったプロジェクト「THE GLASSES OF COMPUTERS」と、その中で制作した幾つかのコンテンツのプロトタイプを紹介したい。THE GLASSES OF COMPUTERS はその名の通り「コンピューターのメガネ」という意味で、アクティビティやハンズオン展示を通じて、「コンピューターの『視線』で世界を見てみる」ためのプロジェクトだ。
例えば目の前にリンゴがある。私達人間の多くはリンゴを目にした時、頭の中に「赤い」「丸い」などの情報が浮かび上がってくるだろう。ではコンピューターはどうだろうか？多くのコンピューターにとって、目の前にあるのがリンゴであろうが、バナナであろうが、真っ暗闇だろうが、それが「数字の情報」であることに変わりはなく、それぞれのピクセルが「どのくらい赤いか」「どのくらい明るいか」などの「情報を示す数値」が変化するだけ。しかしだからこそ、彼らはその数字の情報を元に、目の前のリンゴを人間の記憶よりも正確に記憶することや、画像に描き起こすことができるのだ。
私はふと「この"視線"を人が手に入れたらどうなるのだろう」と思った。つまり、人が「見たものを数字の情報に変換できる」状態であり、リンゴを見て「この視界の中央のピクセルは、R（赤さを示す数値）が200で…」と思える状態だ。第二回の記事で「世界を解釈するツール（言語）が違うことで、『世界の見方』に変化が生じ、ひいては『自分の知覚する世界そのもの』が変化する」と書いたが、コンピューターは私たちにとってある意味もっとも身近な「別の言語の使い手」かもしれない。彼らは我々の言語にとても堪能だが、彼らのメインのものさしである母語はあくまでも0と1。彼らがすでに世界を知覚しているとすれば、彼らの視界に映る景色は私たちの想像も及ばぬものに違いない。コンピューターのメガネを手に入れることが出来れば、その世界をほんの少し覗くことくらいは可能になるかもしれない…。そんなアイデアをExploratoriumのスタッフに何気なく話したところ、何故か想像以上に盛り上がり「実際にそのメガネを体得する方法を考えてみよう」ということになった。
「ことになった」とはいえ、ただフワッとしたアイデアがあるだけだった私は、どこから手を付けてよいやら検討も付かずぼんやりとしていた。そんな折、周囲から「まず手始めに、アクティビティ（ワークショップより簡易な活動を指す）を作ってExploratoriumスタッフに実際にやってもらうのがいいのでは」というアドバイスをもらった。聞けば、この「内部で実験」はExploratorium館内では定番の方法らしい。400人もの意欲的スタッフを抱えるこの施設ならではの余裕が、こういったところにも伺える。「そんなこと言っても集まってくれるのだろうか…」不安を感じつつメールでアクティビティへの参加を呼びかけてみると、あっという間に想定の倍以上の人数が集まってしまい、嬉しい悲鳴を上げることとなった。
初めに試したのは、「COPY＆PASTE (cat pic)」と名付けたアクティビティだ。まず画像を用意し、その画像を格子状に切り分ける。切り分けた1つ1つのピースを参加者に手渡し、「これに近い写真を撮ってきて」と伝える。参加者は自分の手渡されたピースに近い色合い、形のモノや構図を探し出し、写真に撮影して私に送る。送られてきた写真を再構成することで、参加者を仲介した「コピー＆ペースト」が出来るのだ。私が適当に描いた猫は、参加してくれたExploratoriumスタッフの手を介すことによってExploratoriumの風景や要素を身にまとったゴージャスなコラージュへとコピペされたのだ。
次に行ったのは「Filter (Pixel Sorting)」というアクティビティだ。こちらも先程と同じようにある画像を格子状に切り分けるが、今度はグレースケール（白、薄い灰色、灰色、濃い灰色、黒などで描画されている画像）の画像を使用し、「COPY＆PASTE」の時よりももっと細かく切り分けて、１ピースに1色しか存在しないようにした。そして、その1つ1つを参加者に手渡し、「真っ白が255、真っ黒が0だとしたら、この色（グレー）はどのくらいの数字だと思いますか」と尋ね、参加者の答えた「推測の数値」をもとに画像を再構成する、といった内容だ。「COPY＆PASTE」で少しコツを掴んだように感じたので、こちらはExploratorium館内の、フロアと呼ばれる一般のビジターが立ち入れる空間で展開した。一枚の小さな紙切れを前に「検討も付かない」と思い悩む人、直感的に数字を答える人、たくさんの人の意見を聞きたがる人など、反応は様々だ。結果として出来上がった画像は「白っぽいピースは寄り255に近い数値を」「黒っぽいピースはより0に近い数理を」予想される傾向があるために、絶妙なポスタリゼーションのかかり具合。まさに、ビジターひとりひとりがフィルターの役割を果たしてくれた。
更にその後、この「Filter」のExhibit versionとして、WEBカメラやマーカーシステムなどを利用して「切り分けられたピースを、カメラを内蔵したテーブルの上で動かすだけで、その場所に応じた数字が割り当てられ、ディスプレイ上の画像が変化する」というシステムを開発した。スタッフやビジターに実際に触って感想をもらい、少し本格的なユーザーテストなども実施しながら制作を進めていたのだが、ある日、なんどかアップデートを重ねた実機でテストしてみると気になる現象が発見された。それは「手に触れる無数の小さな紙切れの感触と、その手の動きに合わせてじわじわと変化する画像を見ていると、まるで『自分がパソコンの中に手を突っ込んでコントロールしている』かのような感覚が湧き上がってくる」という現象だ。iPadを始めとするタッチディスプレイデバイスが隆盛を極める現代に、なんとも奇妙な感覚が湧いてしまったものだと自分でも思う。しかし様々な人に試して貰ったところ近しい意見が頻繁に散見された。私はその感覚に驚きながら、同時に不思議な既視感を感じていた。
私は、特に人一倍映画に詳しいわけではないが、おそらく映画を視聴することを「趣味」と呼んでいい程度には頻繁に映画に触れ合っているし、色々なアイデアを考える時に、そのアイデアの根本やリファレンスが映画であることもとても多い。そんな私が映画を見ていて一番幸せを感じるのは「理屈を越えて納得させられる瞬間」だ。
例えば、『ドラゴン・タトゥーの女』（2012年）でこんなシーンがある。
ある殺人事件の犯人を追っている主人公は、犯人と思われる男の家に忍び込み、その確証を得る。しかし家を出たところで帰ってきた男に発見されてしまう。お互いに顔見知りなので軽い挨拶でその場を済まそうとする主人公だったが、男は「よかったら自分の家で一杯飲まないか？」と無邪気な笑顔で誘ってくる。主人公は「用事がある」と言って帰ろうとするものの、男から「一杯くらいいいじゃないか」と言われると『なぜか』その誘いを断りきれず男の家に上がり、そこでやはり殺人鬼へと豹変した男に襲われてしまう。男は主人公に銃を突きつけながら妙に優しい笑顔で「なぜ家に帰らなかったんだ？」と尋ねる…というシーンだ。
このシーンをはじめてみた時のゾワゾワとした感覚は印象的だ。冷静に考えれば、主人公がするべき判断は、ただ「家に帰ること」であり、それは非常に簡単な選択に思える。しかし私は主人公が帰らなかった（帰れなかった）ことを間違った判断だと理解しながらも納得し、自分が同じ立場でもきっと同じ判断をしただろうなと感じた。そしてその時の感覚は、私が「Filter」のExhibit version を触りながら感じた感覚に近いような感じがしたのだ。自分の手を動かしているという「主体的／自覚的な行為」なのに、「感じるべき感覚とはズレた感覚」に頭が勝手に納得してしまう、といえば良いのだろうか。
そしてその時、ふいにこの感覚こそが、私が「メディアアート」と呼ばれるモノに求める要素の１つであることに気が付かされたのだ。
今野恵菜（こんの・けいな）
山口情報芸術センター [YCAM] デバイス／映像エンジニアリング、R＆D担当。専門分野はHCI（ヒューマン・コンピューター・インタラクション）など。2017年3月よりサンフランシスコ Exploratorium にて研修。
読者コメント