東大「情動」のシンポジウムで、VRから情動の、廣瀬先生の話を聞く
調べ物をしていて東大の産学連携のサイトを見ていたら「情動」の二文字が。「」と言うイベントでした。ここのイベントとしては珍しく満員御礼で座席数の多い会場に移すほどの大人気ということでした。遅れて行ったので終わりの方の講演しか聞けなかったけれど、福武ホール地下の講堂（300人くらい？）がほぼ満席でサテライトで中継していました。
最後の講演だった東大情報理工学系研究科教授のの講演のメモをとりました。以下、今日の講演の書き起こし。
バーチャルリアリティのいま
僕自身の専門は、バーチャルリアリティという技術。バーチャルリアリティは、最近また話題になってきていますが、基本的にはディスプレイの技術なんですね。情報をかなり強烈に人に与えられる技術です。先ほどから情動をどう測れるかという話が出ていますが、ディスプレイは情動をどう「いじる」かというさらに危ない話にいくわけです。
バーチャルリアリティの発端は1989年ですから、それほど新しい技術でもない。ただ最近おもしろいのは、若手を中心に第二期ブームとも言えるブームになっています。第一世代のVR技術は1989年くらいにありましたが、最近あたらしいHMD（ヘッドマウントディスプレイ）が次々発売されるおもしろい状況になっています。
第二世代と言っているのは色んな意味があって、ひとつは技術を取り巻く環境が変わってきたんですね。情動も実はVRと似たような運命をたどっていて、前にも「感性」という形でブームがあったんですけれども、また今ブームになってきているのかなと思います。たとえば1990年代はじめに感性と言われていたけれども、当時はネットやモバイルがなかった。つまり、技術的な周辺状況が全く変わってきたというのがひとつです。
それから、VRは特にそうですが、費用対効果が決定的に変わってきた。昔はうちの研究室でもかなり無理をしてでかいHMDを買ったんですけれども、100画素×100画素くらいのHMDで、300万円くらいしていた。それが今は1000×1000のレゾリューションで７〜８万円で買える。そういう時代。その辺が決定的に違うというのが、頭に入れて置かれるといいと思います。
それから、画像の作り方も全然変わってきているんですね。昔はテレビゲームは二次元の絵を動かすのがやっとだったのが、三次元でばんばん歩き回れるみたいな話に今なってきたわけで、そういう意味でコンピュータのパワーがー大体コンピュータのパワーというのは10年で数百倍になると言われていて、だいたいそれが止まる止まると言われていて止まらないというのが、よりこの分野の特徴であります。
HMDが安くなってきたというので、最近話題になっているのをいくつか挙げます。（PSVRでは）プレステ、ゲームマシンでとうとうHMDが扱えるようになるわけですね。それからFOVEはおもしろいと思っていて、これはHMDでありながら中にアイトラッキングのシステムが入っている。HMDは頭の動きの追従していますが、同時に目の動きを追従できるようになった。これ昔、第一期の時に我々が「こういうのができるといいよね」と半分冗談で言っていたものが現実として製品にでてくるようになった。
こういう映像のメディアを考えてみるとですね、第一期の時と比べれるとインターネットの中でインタラクティブなメディアというものを自由にくるようなことができるようになってきたわけですね。
隈研吾さんという人がー友人ですけれどもーおりますけれども、彼が展望台をつくったんですね（亀老山展望台）。普通展望台というと高いところにあって見晴らしのいいところなんですが、彼は掘ったんです。考えてみたら、展望台に立つということは、全ての人から見られるということなんです。見ようと思うということは、見られることなんです。
情報系でよく使われるインタラクティブメディアというのは、いろんなものを自由に見れるんだけれども、自由に見れるということはその中の行動はすべてキャプチャされるということなので、リアルな世界では「少し目線の動きがおかしい」とかはごまかせるが、情報系だと「そのページだけ見ている」とかがすぐにわかっちゃうということなんです。ある意味ではそれはインタラクティブの怖いところであると同時に、この人はこういう感じの人なんだとわかるようになる。
五感情報技術
言うまでもなくバーチャルリアリティの技術というのは、感覚の技術です。いろいろな感覚を今までコンピュータメディアでシミュレートして、いろんな感覚チャネルを使って、コンピュータのインターフェイスを作ってきた。
最初のうちは視覚が圧倒的に優位でありましたので、視覚メディアを中心にしてコンピュータと人間とのインタラクションを構築していったわけです。口が悪い人は進化の反対だという。五感は味覚や嗅覚から始まって、その次に触覚が出て聴覚になって視覚になるんだけれども、コンピュータメディアの場合は進化の逆に視覚、聴覚、触覚、嗅覚、味覚みたいな話になると言われています。
いずれにしても、五感情報通信と言われるようになったのが2000年位のころから、コンピュータのキャパシティがあがって、映像だけじゃなくてほかの感覚のモダリティの中でコンピュータ・インタラクションが使えるようになってきたというのがひとつある。
最初ですね、バーチャルリアリティにおける五感のディスプレイというのは、こんな感じだったんです。当たり前と言われるかもしれないけれど、視覚には視覚のディスプレイ、聴覚には聴覚のディスプレイというふうに考えていたのであります。
例えば触覚。ロボットと握手をすればなにかに触れた感覚というのを再現できるだろうというのを1990年代に我々もやっていましたし、それから嗅覚ディスプレイというとガスを発生する装置を作っておいて、バラの花に近くなって鼻を近づけていくと段々バラの匂いがしてくるみたいなことを表現すればいいんじゃないかとか。それから味覚なんかも、ディスプレイを舐めさせたりとかですね（笑）これくらいまでなると明日の五月祭に出したほうがいいくらいなんですが（笑）
いずれにしてもそういうタイプの研究が進み、結局そういう「足し算の発想の果て」というのが、うちの講師が書いているんですけれど、結局こんな感じになっているんですね、第一期VR終わったというのが。どう考えても実用性はないよね、という話です。
ちなみにですね、心理学とVRのような工学の分野は最初から近い関係にあって、最初から心理学者の人と話をしながら研究開発を進めていたんですけれども、最初のうち、圧倒的に輸入超過だったんです。工学系からみると心理学者のために一生懸命実験装置を作っているという感じで、どう見ても持ち出しだよというのがちょっとあって。
しかしですね、最近逆にまた扱いが変わってきた。これは、フランスのアナトゥール・レクイヤという人が言い出したことで、マウスを動かしてカーソルがこう動く。急にカーソルが動かなくすると、手に力が入って重くなるんですね。触覚の錯覚現象というのはものすごくたくさんあって、これなんかは、さっきのメカニカルなロボットの親分のようなハプティックのデバイスを全く使わなくても触覚を錯覚により発生できるというの生み出した。これは我々にとって大変ありがたいことで。というようなことで、また心理学者に敬意を払うようになった。
考えてみると当たり前で、我々は感覚を受け取るときに、基本的に感覚は相互作用をしているわけで、さっきのマウスの動きーシュードハプティクスと言いますけれどー視覚によって触覚が発生される、という、視覚刺激を上手に与えることによって触覚が発生するとかいろんなことがある。
例えばこれだとネタがわかっていても変だというやつでですね、実際に触っているのはこういう円筒形を触っているんですよ。CGで凹んだ糸巻き錠のものを出してあげると、どう考えても悔しいことに、凹んだものを触っているようにしか感じられない。嘘だと思ったらですね、明日か明後日か研究室公開やりますが、ネタまで説明されても曲がっているようにしか感じられないという、かなり強力なイリュージョンであります。
これは、テレビでうちの講師が随分やったのでご覧になった方もいるかもしれませんが、味をさっきのようにディスプレイにしようとするととても大変な話になるんですけれども、嗅覚と見た目を変えると味が変わるという仕事であります。メタクッキーと言うんですけれども、プレーンクッキーなだけれどもARをつかって情報を重畳させてあげると、味は全く変わっていないんだけれどチョコレートの味がするというものであります。多少、五月祭ネタっぽいところはありますが。
いずれにしてもですね、感覚の話がハンドリングできるようになってきたのはとてもおもしろいことでありまして、我々としても非常に興味を持っているわけであります。そういった感覚を上手にハンドリングできるようになると、その上の方に興味を持つようになるわけですね。それが今日のテーマの感覚が知覚を作り、認知を作る。その認知には情動があって、その情動が行動を引き起こすみたいな上層部の話題に、最近のVR研究はシフトしていっているのであります。
Affective Computing
考えてみるとこれは情報の分野はその辺のムーブメントは2010年くらいに起こり始めていて、さすがMITは新しいネタを見つけるのがうまいところでありまして、彼らはAffective Computingと言っている。彼らは名前をつけるのもうまいですね。例えば、人々の漠然とした心のひだみたいなものをコンピュータの中にどうやって入れるのかというのはテーマであります。例えば、僕が話していて「つまらない」と聞いていると、椅子にセンサーをくっつけておいて、だいたいみんなつまらないと後ろのほうにもたれかかるので、「眠そうなんだ」みたいなのが、まあわかってどうする、というのはありますけれども。そういう形でとっていくみたいな、技術としてそういうものを研究したりですね。最初くだらないなと思っていたんですけれど、段々おもしろい方向へ行っているようでありまして。
これはロボットなんですけれどね。Jiboという癒し系のロボット。日本だとロボット屋さんがやるんですけれど、MITのおもしろいのは、これにAffective Computingの人たちやディズニーの人たちがやっている。メカニカルに見たら大したことをやっていないんですよ。動き自体がすごくセクシー。いい動きをする。二自由度しか持っていないんだけれど、実にいい動きをする。
日本の方でも研究室の中のレベルというよりは、情動をセンシングしてどう戻すかという話は、90年代と違って。旭化成がスマホで脈拍を測定する技術を持っておられます。スマホはカメラを持っているんですよ。コンピュータのカメラというのは我々の目よりも遥かに色の検出能力が優れている。顔色は拍動に応じて、血液が送り出されるときに赤くなる、血液が戻っていく時には青くなる。そのカメラを見ていると脈拍がわかるんです。電通が一緒に絡むとこれに意味がつくんです。緊張感をどう解けるんだろうかというツールになる。これは結局就活に使う。脈拍が高いと深呼吸しましょう、というような。どれだけ有効はよくわかりませんが。
それからオムロンのOKAO Vision。もともと顔検出からはじまっている。最近の自動販売機は前に立つ人の年齢や性別によって推薦される商品が変わるというのがあるんですけれども、そういうところに使われているようです。最近になると、表情認識になる。それが実験室レベルではなく、利用可能になってきた。情動というのは、我々の立場から言うと、理学的と言うレベルではなく、工学的レベルに落ちてきているだろうと思います。
情動の技術
我々技術屋からみると、情動は頭のなかの出来事だろうと見える。頭のなかをいじろうとしたときにアンタッチャブルな世界に見える。しかし、フィジカルなものや行動は物理的な現象だから、取り付く島がありそうだ。
これは心理学の人の受け売りですけれど、みんな悲しいと言う感情が先にありそれから泣くと言う体の変化が生まれると思っているけれど、泣いている自分を見ると悲しくなるという現象があったりもします。それから、これもおもしろいんですけれども、心拍がドキドキする。それは彼女が好きだからドキドキする、と通常我々は考えますけれども、心拍がドキドキしている状態で彼女に会うと好きになる。因果関係逆じゃないの、と言いたくなるけれど。
僕らはエンジニアリングだけれども、そういう物理的なすごく即物的なものから、心のひだに登っていける可能性が出てきているということなのだろうと思います。
ひとつご紹介したいのが、「扇情的な鏡」というのがうちのドクターの学生がやって物議をかもしたんですけども、これはコンピュータによって作られた鏡なんですね。コンピュータで鏡を作るのは簡単で、カメラがあって、逆転して出せば鏡になるんですけれど、コンピュータに一回入ってますので、顔を笑わせることができる。悲しい顔にすることもできる。それに寄ってさっきの理論によれば、自分の悲しい顔を見た時に、自分に悲しい感情が沸き起こる。これ実際にやってみるとですね、その通りになるんですね。アンケートでやっているのが弱いところなんですけれど、どうやらそういう傾向がありそうだと。
そういうものと購買行動とがつながってきているわけで、同じような好みのマフラーを笑った顔で売った場合と悲しい顔で売った場合では、圧倒的に笑った顔で売ったほうが売れる。悪いとかじゃなくて、本当にそれを受け入れてしまう。
それからこれは、テレビ会議を全て笑わせるというやつです。テレビ会議をニコニコしながらすると、非常に場が盛り上がる。生で会うよりいい、みたいな。本当に真面目な話で、講演しているときでも、ニコニコしてこちらを見てくれているほうがこちらにフィードバックします。結果的に全体としてよくなる。
ライフログとサイバネティックループ
たくさんセンサーができてきましてですね、いろいろな情動を計測できるようになってきました。ライフログと言う技術があって、行動計測がものすごく簡単にできるようになった。
これはSilent Logというスマホアプリで、自分自身の位置情報をずっととってくれる。通常それをやると電池がなくなる問題があるんですけれど、このおもしろいところは、動かない時はGPSをみないという非常に緻密なプログラムをつくってあげて、ほとんどオーバーヘッドなしに位置がとれる。電車に乗っているのか止まっているのか歩いているのかくらいは分けてくれる。
なんかはレシート。レシートはリーダブルになっていて、みなさんどこで使ったかレシートを読むとどこであなたいくら使っているみたいなのがわかるわけです。そうするとそれを警報ででる。行動に基づいて、あなたどうするんだと。期待値というのがすごく重要で、予測がすごく楽にできるようになってきた。それに対して新しい商品設計するみたいなことがものすごく楽にできるようになってきたわけであります。
そこから先は情報系ではやりたい放題というかですね。例えば、彼女がSNSで「こういうのを食べた」と出しますよね。そうすると「おいしそう」と言われると喜ぶ。「おいしそう」と言われたものを食べるんですよ。「ヘルシーそう」と言われるのを、「おいしそう」に切り替えると、それを食べてしまうようになる。結果的に「ヘルシーそう」な食事が増えてくる。そんなこともできる。しかしこれつっこみどころが満載な話で、情報を捏造をしているんじゃいかとか、突っ込もうと思えばいくらでも突っ込めるんだけれども、上手な形でフィードバックしてあげると、上手なモチベーションに埋め込むことができるということです。
これは、うちの講師の人がやっているのが、自動運転のようなものはできるんだけれども、最後に特に高齢者ではぶつかってからブレーキを踏んでいるんですね。自動運転に任せてしまうのではなく、ある種の「やっている感」みたいなのは必要だろうというのがあって。ブレーキを踏んでも有効ではないんだけれど、踏んだというような気にさせる技術というのはこれから非常に重要だろうと思ったりするわけです。
最後の方に申し上げたことは、ある種の「気のせい」なんじゃないかと。単なる「気のせい」の技術じゃないかと思われるかもしれませんけれど、さっきのマフラーの例を見ていただいてもわかるように、「気のせい」といっても実際の購買行動につながってしまう。
