久しぶりにスタニスワフ・レム以外の話題を。
こんど訳書が出る。なかなかおもしろい本なので、是非みんな読んでほしい。いまAIが人間ヅラして会話したりするし、AIと結婚したいバカが出たりするし、遺伝子組み換えで変な人間もどきもできるし、人間とそれ以外のものの境界がだんだんあやしげになってきている。では人間とそれ以外のものの一線をどうやって引くべきか？ それをこの本は、これまで人間がどうやって、人間とそれ以外のもの（と当時思われていたもの）の間の一線を決めたか、そして明らかに人間でないもの（法人）をどうやって人間と認めてきたか、というアメリカでの法制史をたどることで確認しようとする。
さてそうした基準でもちろん出てくる定番は、意識があるかないかだ。AIはいろいろ会話できるし、くちごたえもする。ならAIに意識 (consciousness) はあるか、それで人間の仲間に入れていいのか、というのがそこの問題設定だ。が……
個人的には、この問題設定、特に意識という言葉が議論を歪めていると思うし、たぶんその方向性もおかしくしていると思う。
意識と知能
まず「意識」という言葉で何を意味するか、ということだ。なんだか自意識でもあればいいのか？ もしそれでいいなら、サルはもとより犬や猫も、たぶんゴキブリだって意識があるだろう。うちの犬を見ていると、明らかに喜んだり悲しんだりしているし、あれこれ計算高い動きもする。どう見ても何か自意識はあるわな。殺そうとすると必死でどれも逃げる。死ぬのはいやだ、という意識くらいはありそうだ。
ところがこの本で、意識があるかどうかの試験として挙がるのは、フォークト・カンプフ試験にチューリング試験、さらには中国語の部屋だ。ゴキブリはもとより、うちの犬だってどう考えても、このいずれにも合格はできない。つまりこの本で言っている「意識」というのは、犬や猫やゴキブリが持っているとおぼしき意識の話ではない。
このように、意識があるとかないとかいう議論は往々にして、人間なみの情緒や論理思考能力があるか、という意味になっている。
『自由は進化する』で、デネットは自由というのを、まず害の認識と回避から始める。やがてそれが機械的な回避ではなく、他の重要な因子との関係を考え、重み付けをしたうえで判断を下さねばならない。これが谷淳のいう、トップダウンの命令とボトムアップでの環境からの要請がぶつかったときに、仕分けをするために生まれる意識だ。そこから、ゾウリムシの意識、ゴキブリの意識、カエルの意識という具合にどんどん複雑化する。意識はある／ないのデジタルなものじゃなくて、なんか連続的なものとしてある。そして、外部記憶とか推論とかいろいろ使い始めるのは、それがかなり複雑化してからなんだろう。
たぶん知能と言わずに意識と言いたがるのは、知能というのもわかりにくいからで、知識量でもないし単純な推論能力でもないし、そこに何らかの自律性を持たせないと、みんながイメージするような「コンピュータが意識を持った」はできない。その自律性の部分を「意識」という言葉になんとなく担わせているんだけれど、うーん。それはたぶん妥当ではないだろう。
意識はすべて同じか？
そして次に「意識」（その人間並の知能込みの意識ね）というのがどれも同じだ、という含意がある。ボイルの本では『ブレードランナー』を持ち出して、レプリカントが権利や自由を要求したらどうしよう、と心配する。
確かに『ブレードランナー』のレプリカントは、死にたくないと言う。これは人間と同じだ。だからこそ、あの映画でぼくたちはレプリカントにも感情移入する（一方、ディックはレプリカントに対し、最後まで非人間的な存在だという描写をする）。
が……そもそもアンドロイドがなぜ「死にたくない」なんて思う？
犬も人間もゴキブリも、生物学的な進化の産物だ。そして進化の基本となる自然淘汰では、死ぬのをいやがって悪あがきする個体が通常は生き延びて子孫を残す。だから意識がありそうな生き物はたいがい、まず「死ぬのは避けよう」という指向がある。そしてそのためのツールとして発達させた痛みがあり、だから「痛いのいや」というのがユニバーサルな気持ちとしてある。だから虐待いけない、という話になる。『プロジェクト・ヘイル・メアリー』(映画のほう。原作そろそろ読まないと)でも、ロッキーくんはほぼ人間と同じ意識や情緒を持つ。たぶんロッキーくんたちも、生存競争の中で発生したんだろうから、死にたくないという共通点はあって、そこからある程度似た意識や情緒があるのも、まあ納得だ。
でもコンピュータもアンドロイドも、別に生存競争を経て進化してきたものではない。アシモフロボット三原則では、自己保存が挙げられているけれど、それも条件つきだ。進化アルゴリズムを使う場合でも、その評価関数に自己保存が含まれるわけではない。種無しバナナみたいに、自己保存とは逆行する形質を発達させても、人間の選別によりむしろそのほうが栄えることだってできる。
つまりコウモリの意識は人間と同じか、とかいうつまらない哲学者の話を待つまでもなく、条件変えれば出てくる意識もちがうだろう。ジェイムズ・ティプトリー・JRの名作「愛は定め、さだめは死」では、カマキリみたいな動物のオスが主人公だ。そのオスは自分が守り育てたメスに最後は喰われてしまうんだけれど、喰われながら大いなる喜びを感じる。そういう意識だってあるだろう (実際にメスに喰われるカマキリ見てると、必死に逃げようとしている感じだけど)。自爆ドローンが意識を発達させたら、似たようなことになるんじゃないか。「おー、目標発見、見事玉砕する我が勇姿を見よ！」とかかな。いや、「見る」という概念はないだろうから「おー、このパラメーターがどんどん収束するの気持ちえー」とかいう意識になるだろう。
バチガルビ『ねじまき少女』の主人公も、ご奉仕メイドロボットが意識を発達させると、人間と同じ意識になって、自分の被虐服従プログラミングに抗って葛藤するような描写があったと思う。でも本当にそうなるんだろうか。もちろんここでは、そういうふうにしないと小説にならないというのはあるだろう。その意味で、ぜんぜんちがう意識を小説にできたティプトリーは、やっぱすごかった。
そしてもし、そういう生存競争の中ではない環境で発達してきて、死にたくないなんて思っていないAIやアンドロイドにとって、人間的な意味で「権利」とか「自由」とかに意味はあるのだろうか？ ほとんど意味はないんじゃないか。あったとしても、それがその意識存在にとって持つ意味は、人間の理解を超えたものとなるんじゃないか。
さっき、うちの犬が計算高い動きをする、と述べた。でもそこでの計算というのは、何を最大化するか、ということであり、生物なら生存 (自分の生存ではなく、遺伝子の生存でもいい) の確率を最大化する、という大目標が共通点としてある。でもAIやロボットがそれを最大化しようとする理由はない。だからそのために自分の自由や権利を増やそうとするような方向に向かうとは考えにくいのでは？
だからたぶん、アンドロイドは電気羊の夢は見ないだろう。たぶんリドリー・スコットよりもディックが抱いていた違和感、人間でないものについての警戒、そっちのほうが重要となるだろう。フリーレンの魔族と同じ。言葉はしゃべるしいろいろポーズは取るかもしれない。感情も理詰めもやりはするけれど、それは対人間のインターフェースでしかない——たぶんそんなものになるし、もしそうなら権利や自由その他も、よほど便宜上の理由がなければやらないほうがいいんじゃないか。どんなに差別と言われようとも。
ちがう「意識」は人類を滅ぼすか？
小説でなくても、意識あるAIを宇宙探索に送り出したら、ひとりぼっちで死ぬのが可哀想だから連れて帰る倫理的義務がある、と言っていた科学者がいた。ブラックモア編『意識を考える』に確か出てきた。ペンローズかだれかだったっけな？ これも、「意識」というのが必ず人間と同じで、「さびしい」「死にたくない」みたいなことを感じるはずだ、という思いこみがある。それは何でも擬人化してしまう人間としては仕方ないんだけれど、でもそういう衝動を抑えないとまともな議論はできないんじゃないか。
そしてそういう思いこみが、コンピュータとかAIを論じる中でどんどん話を歪める。こう、AIの電源を切るのはAIを殺すことで、それはかわいそうだ、とか。あるいは逆に、ボストロムみたいな、AIは人間を破壊するとか人類絶滅だとかいうバカ話とか。なんでAIが人間殺さなきゃいけないのかわからん。人間もコンピュータも同じ資源をめぐって争うから、とかいうんだけど、どの資源の話よ？
そもそもAIにとっては、人間そのものが資源だ。カセットやコネクタにフーフーしてほこり払ってくれるの人間だけだよ。人間より頭いいんなら、そのくらいわかれよ。それに人間なんてバカだから、画面になんか絵を出せばハアハアして言うこときくじゃん。そのくらいのことが理解できないようなバカなAIには、人間は当分負けないとは思う。そしてそのくらいの知恵/意識は、すでにコンピュータにはあるんじゃないかとすら思う。ぼくは昔から、コンピュータのネットワーク化とか、コンピュータのほうが無意識のうちに人間を操ってやらせてるんだと思ってる。これは、ブライアン・アーサーの、技術が自律的に発達するんだという議論と共通するものでもある (ぼくのほうが先に思いついた、と言いたいがたぶんこの程度のことはみんな思いつくんだよね)
だからぼくは、世の中のボストロムとかユドウスキー(だっけ)とかのAI危機説はすべてバカだと思っているし、読む価値もないと思う。が、それはAIについて何も懸念しなくていいってことじゃない。むしろ本当の危険性は、なんでも擬人化してしまう人間の変な本能が、AIのなまじ上手な模倣ぶりと相互作用して、ありもしない危機をつくり出して過剰反応を引き起こすことだとは思う。そうしたバカな本はすべて、実はそれ自体がそうした過剰反応の症例でしかない。
あとあるとすれば、何でも擬人化する人間が、人間らしくさせようとしてAIに余計なこと教えたりすると、なんか人間に似た意識ができることはあるのかもね。そうならないよう、AIにお礼を言ったりとかせず、ご主人様が召し使いにするように、命令して主従関係をわきまえさせたほうがいいとは思う。が、まあ決定的な影響はないだろう。
蛇足ながら……
ついでに言うと、英語ではconsciousness は「良心」という意味もあって、おおくの英語論者はその影響を無意識のうちに受けているようにも思う。が、これはあくまで憶測。
付記：
そういえば以前、この話はもう書いたんだった。自分では書きかけのつもりだったけど、一応仕上げてたんだな。ヤキがまわってきたなあ。ただ少し話がAIのほうに行ったので、まあ別の話として読んで下さいな。
