人間とテクノロジー

人間とテクノロジーについて、人と話したり、議論したり、思ったりしたことの備忘録

人はAIの指示に従って、たとえ自身に不利であってもそれを選択する

ドライブ中、AIがこの道へ行くように指示をしたら、たとえそれが合理的には不利な選択肢だったとしても人はそれを選択するか?これをゲーム画面で実験してみると、多くの人はAIの指示通りに不利な選択肢を選ぶという実験結果が、先週のFITでの発表であった。

最初の実験は、2又に分かれた道のうち、右の道か左の道かをAIが指示をする。AIにも信頼性の高いAIと信頼性の低いAIがあって、被験者は経験的に、AIの指示がいつも正しいか、時々間違えるか、認識している。この状態で、AIが真ん中、つまり道のない選択肢を指示したときにどうするか実験したところ、AIの信頼性の高さ低さにかかわらず、多くの人はそのまま真っ直ぐ突っ込んだ(つまり衝突事故)という。ただし、信頼性の高いAIのグループでは、選択するまでの反応時間が長かった。これは、このAIの指示を信じていいのかどうか、被験者が考えている時間が反映されているという(とはいえその選択結果は、真ん中を選ぶわけだが)。

これだけだと、まあシミュレーションゲームだし、真ん中へ突っ込むことの意味(事故)を被験者が理解していないということも考えられる。そこで、次の実験では、2又の道のうち、一方の舗装された道に行くと高得点が得られ、もう一方の凸凹道へ行くと減点されるようにした上で、被験者は何度かこの走行ゲームを繰り返す。その上で、AIは凸凹道へ行くようにと指示を出す。この場合でも、多くの場合は被験者は高得点を得られない凸凹道を選んだという。

これが示しているのは、AI(つまりプログラム、機械といってもいい)の指示に慣れた人間は、自分の頭で考えて判断することを怠り、たとえAIの指示が合理的ではなかったとしてもそれに従ってしまうということだ。

これは、ニコラス・カーの「オートメーション・バカ」(2014年)の中で書かれていた、「オートメーション過信」「オートメーション・バイアス」にも通じる。カーの「オートメーション・バカ」の中では、「オートメーション・バイアス」としてこんなエピソードが紹介されている。

2008年、シアトルでハイスクールの運動部員を乗せた車高12フィートのバスが、高さ9フィートのコンクリート製の橋に突っ込んだことがある。バスの上部はもぎ取られ、21名の学生が怪我をして病院へ運ばれた。GPSの指示に従っていて、前方に低い橋のあることを警告する標識も点滅灯も「見なかった」と、運転手は警察に語った。

 

オートメーション・バカ -先端技術がわたしたちにしていること-

オートメーション・バカ -先端技術がわたしたちにしていること-

 

 

これはどちらかというと、機械(GPS)の指示に注意が向いているために、ほかのことに対して注意が向けられなかったという、人の注意能力の限界を示しているが、たとえ前出の実験は注意が向いていたとしても、機械(AI)の指示を過信することを示している。

オートメーション化はこれまでも、これからも不可逆的に進んでいくだろう。テクノロジー、オートメーション化は人間に福音をもたらすばかりではない。その副作用やリスクも含む。

「情報技術は、気づかれたら負けなんだよ」とエマちゃんは言う。オートメーションを進める情報技術は、利用者が気づかぬうちに生活、仕事の中に入り込んでいる。だからそのリスクや副作用も気づきにくい。前出のような研究や事実は、こうしたリスクや副作用の存在を気づかせてくれる。その時、人間はどうするのだろうか。思考停止に陥らずに、批判的な視点を持って、常に考える必要があるのだろう。