鍵盤を叩く自分の指が伸び縮みするような錯覚が起きる「えくす手」

　東大・廣瀬研M2のなみちゃんの作品「えくす手」は、表示する映像で見た目を変えることで、鍵盤を弾いている手があたかも伸びたり縮んだりするかのような体験ができる。

　半年前に東大の制作展で体験したときは、映像の視覚効果だけだったが、あたかも本当に自分の指が伸びるような、気持ち悪い感覚が印象的だった。

　この前のURCFシンポでのデモ展示では、そこに実際の鍵盤を指で叩く触覚も加わっていた。ディスプレイの下には、実際に鍵盤があり、指で鍵盤に触れながら体験できる。

　体験しているうちに、あれ？と思ったのは、思うようにディスプレイに表示される指が動かせない、ということだった。指先の感触では確かに思い通りの鍵盤を叩いているのに、ディスプレイ上の指はその通りに動かないし、思ったような音も出ない。

　思い当たるのは、私は子供の頃ピアノを習っていた、ということだった。20年近くろくに弾いていないけれど、ピアノの鍵盤を叩く感覚は覚えている。鍵盤を見なくても思うように弾くことができたから、ディスプレイの下の鍵盤の感覚と、ディスプレイに表示される指、それに出てくる音が合わないのが、違和感を感じて、ディスプレイ上の指は自分の指のように思えなかった。

　「えくす手」は、ディスプレイにうつった手をあたかも自分の手のように錯覚するという現象にもとづいている。視覚と触覚、と感覚のモダリティが増えることでリアリティが増す、と思っていたが、視覚と触覚、それに聴覚をばらばらに感じると、錯覚は起きず、リアリティがかえってそこなわれるようだ。

　もっとも、これは私がピアノ経験者で指先の感覚に引っ張られすぎてしまったせいで、ピアノを習ったことのない人はまた違うのかもしれない。そもそも、錯覚現象には個人のこれまでの経験や記憶が大きく関係するものだから。