YCAM[山口情報芸術センター]の映像エンジニア、デバイス・エンジニアの今野恵菜さんによるサンフランシスコの科学館・Exploratorium研修記『先行きプロトタイピング』第３回目です。今回は展示開発ハッカソンで目の瞬きのパターンで表情を読み取るシステムをデモンストレーションしたことについて書いてくれています。
文＝今野恵菜 写真＝今野恵菜・© 2017 Exploratorium
私の研修するExploratoriumは、約200人のフルタイムスタッフ、約150人のハーフタイムスタッフ、約250人の有償ボランティアスタッフを抱える巨大な施設だ。その中でもこの施設の屋台骨といえば「Exhibits & Media Studio」のExhibition Developerメンバーだろう。彼らは、Exploratoriumで展示されるすべての展示の、アイデア出しから制作、完成後のメンテナンスまでを担当しており、常に忙しく館内を動き回っている。
そんな彼ら、そして全てのスタッフの「フットワークの軽さ」を支える内部イベントの１つとして、Exploratoriumでは数年前から「展示開発ハッカソン（通称：Hindes Prototyping）」が半年に1度開催されている。参加するスタッフは、4日間まるまる通常業務を離れ、最初の3日間は「各々が考えている新しい展示のプロトタイプ制作」に集中し、4日目の発表会でスタッフ向けにそのアイデアをプレゼンする、という内容だ。このイベントで生まれたアイデアが元になり、今は常設展示になっているものもある。1回の参加者数は大体5名から10名程度だが、発表会を見に来るスタッフがとても多く、新しい展示のアイデアに対して、活発で忌憚のない意見交換の場となっているようだ。こういったイベントがこの施設の風通しの良さに大きく寄与していることは間違いないであろう。去年の8月にもこのイベントが行われ、私も参加者として加わることとなったので、前回の記事でも挙げた「言語とコミュニケーション」に関するようなプロトタイプを作ってみる事とした。
カルフォルニア サンタクルーズの2018年初日の入
展示開発ハッカソンの直前まで、私はExhibits & Media Studioの中の「New Media」という「プログラミングや電子工作などを扱うことに特化した小さいチーム」で研修を行っていた。そのチームが制作を担当していた新作の展示作りにも幾つか携わらせてもらっており、その中の１つに、「ドリー・ズームの仕組みを見せる」という内容の展示があった。
ドリー・ズームを文章で説明するのは難しいのだが、「画面中央にあるものの大きさは変わらないのに、周囲の風景だけがダイナミックに変化するような映像」を撮影するための手法で、アルフレッド・ヒッチコックの「めまい」や、スティーブン・スピルバーグの「ジョーズ」などが有名である。この映像を撮影する方法はいくつかあるが、「ドリー（カメラドリー）」とよばれる台車を使い、カメラを少しずつ引いている間同時にカメラのレンズをズームさせることで、フォーカスした中央の被写体はそのままのサイズなのに背景だけが変化しているように見える、というのが定番のやり方だ。私は「ギアを使ってレンズのフォーカスとズームをコントロールする」部分の担当として制作に携わり、チームのミーティングや、ビジターを交えて行うユーザーテストに参加していた。
完成したドリー・ズームの展示
Exploratoriumで行われる展示制作のためのユーザーテストは、少し独特と言えるだろう。展示のプロトタイプを普通の展示と同じように館内に配置し、Visitor Researchと呼ばれる、館内のコンテンツがどの程度ビジターに届いているか、などをリサーチする部署のスタッフと、その展示を作ったExhibition Developerが様子を少し離れたところから見守りつつ、「Visitor Researchのメンバーが展示に興味を示したビジターを独自のメソッドで可能な限りランダムにピックアップし、事前に用意した質問を使って、ビジターの意見と感想を聞き取る」というのが定番のやり方だが、特にノリがよかったり、明確な意見を持ったビジターの場合はExhibition Developerがビジターと直接話すことも多かった。この「少し離れたところからスタッフが見守っている様子」が、事情を知る側にいると白々しくて面白可笑しいのだが、それ以上に「それはまだ人前に出す段階ではないのでは？」という初期段階のプロトタイプも臆せず施設内に配置する事、そしてビジターもプロトタイプの荒々しさを気にすること無く積極的に発言してくれる人が多い事にとても驚かされた。これは施設だけの特徴というより、サンフランシスコの土地と人のカルチャーなのかもしれないが、何にせよ日本ではなかなか見られそうにない光景だ。このようなユーザーテストを何度も何度も繰り返し、必要があれば大きな方向転換も厭わず開発を進め、この施設の展示は作られているのだ。
ドリー・ズーム プロトタイプ制作中の一コマ
さて、そんなユーザーテストに参加しているうちに、私の中に気になることが出来た。それは、ユーザーテストに参加してくれている人の表情である。こちらに来てから分かったことの１つに、「言葉が通じなくても最悪ボディランゲージで！などと言うが、言語のレベルが低いとそれも結構難しいんじゃないか？」という事が挙げられる。特に、私は表情の読み取りで苦戦していた。もちろん満面の笑みなどの「激しい表情」は見ればすぐに理解できるし、映画や映像など「一方的にまじまじと対象の顔を見てもよい状況」においては、細やかな表情の変化をキャッチアップするのもそこまで難しくはない。しかし、実際に相手のいるリアルなコミュニケーションとなると事情は大分変わってくる。日本語では感じ取れる、「声の音程」や「言い回しのチョイス」などの「相手の感情を察するための補足情報」が英語では拾いきれず、いくら目を合わせるカルチャーがあるからといってリアルな会話で相手の顔を凝視することもできない。自分の英語能力の不安も相まって、会話の相手が少しでも真顔になると「あれ？もしかして怒ってる？悲しんでる？何か言ってはいけない事を言っちゃったかな」と頻繁に混乱していた。
ユーザーテストでドリー・ズームのプロトタイプを体験した殆ど全ての人は、過剰気味に「驚いたような表情」「恐怖に戦く演技」をしていた。そもそもドリー・ズームという映像（視覚）効果自体、「めまい」や「ジョーズ」をはじめとして、主に恐怖や不安を煽るようなシーンで、それらを助長する効果を狙って使われる。しかし、そんな背景を知らないはずの子どもたちも、カメラを前にそんな表情や演技をするのだ。周囲の大人たちからの影響が大きいだろうが、私には「展示がビジターの特定の表情を引き出している 」つまり「ビジターのリアクション自体が、映画や映像作品のなかで使われるドリー・ズームの効果を証明している」ように見え、「非言語に相手の表情（感情）を引き出す方法として、こういうアプローチもあるんだな」と感心していた。
そんなことを考えていた頃、自分の関心事項を共有していたスタッフとの会話で、モールス信号の話題になった。モールス信号とは、「トン（短点 ・）」と「ツー（長点 －）」の組み合わせで作られた符号のことで、かつては船舶間の通信や海難事故の救助信号の送受信などに使われていた、信号音やライトの光などを「トン・ツー・トントン…」という具合に使うアレである。「モールス信号は専用の装置が無くても、『トン 』と『ツー』の二種類の状態を作ることが出来れば、情報を形作る事が出来る。ミニマルであるが故に、実は応用性が高いのかもしれない」という話の流れで、「目の瞬きを使ったモールス信号」の話を教えてもらった。「周囲に気付かれずに秘密裏に情報をやり取りする手段」のほんの一例として挙げられただけだったが、私はその時漠然と抱いていた「表情への興味」とも通ずる何かを感じたのだ。
展示開発ハッカソンでのデモンストレーションの様子
展示開発ハッカソンのアイデアに行き詰った私は、そんな会話の記憶を元に「瞬きによるモールス信号」の仕組みを使ってみようと思い立った。
プロトタイプ作りに充てられる最初の3日間、毎日1時間ほど参加者同士で進捗を報告し、アドバイスをし合うミーティングの時間が設けられており、1日目に「目の瞬きのパターンを解析する簡易なシステム」を作った私は、2日目のミーティングで、それを他の参加者に体験してもらった。プロトタイプとはノリが他の参加者と全く違ったので不安だったが、この時点で動く実機を持ってきたのは私一人だったこともあり（そもそも1日目のミーティングで口頭だけではうまく説明できず「何か絶対に動くものが必要だ…」と猛省したから用意したものだったが）、意外にも評判が良かったのでそのままその方向で進めることとした。問題はこのシステムを何の情報と組み合わせるかだ。アルファベットやカタカナなどと紐付けることは比較的簡単に出来そうだったが、そもそも「瞬きのモールス信号」に心ひかれたのは「表情と同じく顔を使用するから」ということを思い出した。そこを基軸に色々と考えてみた結果、絵文字、その中でも「表情を示す絵文字」に絞って20種類ほどピックアップし、瞬きのパターンとそれらを紐付けてみることにした。「表情の作り方が文化的に違ったり、言語の関係で微妙な気持ちを伝えられない際などに、リアルな顔の表情と、その補足情報として抽象化された表情（= 絵文字）をAR的に表示し、表情の読み違いによるディスコミュニケーションを防ぐ」というイメージだ。
プロトタイプ プログラム画面の様子
3日間で出来上がったプロトタイプは、「カメラで目の動きをセンシングして、5秒間のうちに体験者がした『目の瞬きのパターン』によって、対応した絵文字を表示する」という大変簡易なものだったが、発表会を見に来たスタッフが誰でもそのプロトタイプで遊べるようにしたところ、様々な、かつ予想外の方向からのフィードバックを得ることが出来た。
「難しさが面白い」これは単純に私の設計ミスによる所が大きいが、5秒間という時間は瞬きをコントロールする時間としては長く、しかも対応する絵文字によっては「4秒程度目を開きっぱなしにしなければいけない」という、自然の摂理に反した振る舞いをする必要があり、なかなか思い通りの絵文字を表示することが出来ない状態になっていた。「時間が無かったとはいえ、無茶苦茶な設計だったな…」と反省していたのだが、意外にもこの状況を面白がる人の声も多かった。「瞼がこんなにコントロールが難しい（エラーが発生しやすい）部位だなんて知らなかった」「自分の身体なのに裏切られるような感覚が不思議で面白い」など、中には熱中し過ぎてなかなかプロトタイプの前を離れてくれない人もいた。
更に、長時間体験してくれた人のうちの数人が「表示される絵文字に、感情が引っ張られるような気がする」と言うのだ。「自分の意思には反しているけど、自分の身体が表示させた絵文字だから、自分の本当の気持ちを表象するのはこっち（の絵文字）なのかもしれない」とか、「見透かされてる気がする」と冗談交じりに言う人もいた。こういった感想が社交辞令ばかりでないとすると、「ユーザーが他の誰かとコミュニケーションをする際に使うもの（を将来的に想定したモック）」として考えていたこのプロトタイプは、実際のところ「ユーザーの自己認識」に働きかけていたのかもしれない。その場ではうまく言語化出来なかったが、私は「人は、例え絵空事のような適当なルール（絵文字と瞬きのパターンは私が適当に割り振ったので殆どランダムだ）でも、それを信じることが出来る環境（実際にそのシステムが簡易的にでも動く状態）があれば、感情的にもそういったものに納得できるのかもしれない」などと言うことを考えながら、慌ててメモをとった。ここに次に繋がる何かがあるかもしれない、という手応を少しだけ感じていた。
今野恵菜（こんの・けいな）
山口情報芸術センター [YCAM] デバイス／映像エンジニアリング、R＆D担当。専門分野はHCI（ヒューマン・コンピューター・インタラクション）など。2017年3月よりサンフランシスコ Exploratorium にて研修中。
読者コメント