第四条

原則の穴

「まずはじめに考えるべきは外部からの干渉でしょう」

「俺もまずその可能性を疑ったさ。だが、事前の調査ではクラッキングの痕跡は一切見当たらなかった」

「外部からの干渉は人為的なものだけとは限りませんよね？」

「……ヒューマノイドも機械ではあるから環境要因で動作不良を起こすことはある。それはそうだが環境負荷に耐えかねて自殺したなどという話は聞いたこともない。そもそもオープンシティにヒューマノイドの動作不良の要因にはなりえそうな環境要因はないだろう」

「ヴァルプルギスナハトという前例があります」

　シモンが臨地試験が始まって間もなくの頃に起きたあの大障害の名を口にしたので、俺は思わず「バカを言うな」と叫んでしまった。

「あの一件以来、オープンシティ上空の広域磁気シールドが強化されたことはお前だって知ってるだろう。シールドを貫通するほど強力な宇宙線が観測されたこともない。何よりあの時とは事件の性質も違う」

「と、言いますと？」

「ヴァルプルギスナハトの際に制御システムに致命的な損傷を負ったごく一部のヒューマノイドが暴走状態に陥ったのは事実だが、ほとんどのヒューマノイドが緊急停止している。第一、そうした障害が発生したのは、宇宙線量の急変が観測された数時間だけだ。一方、今回の事件では長期にわたって断続的にヒューマノイドが暴走している。同じ暴走事件だからといって一括りにはできないだろう」

　ま、本音を言えばあんな事故がそう何度もあってもらっても困るというのもあるのだが。たった数時間の大障害から復旧するのにどれだけの時間と金が掛かったか。思い出すだけでも胃の辺りが重くなる。

「なるほど。そういうことなら一つ目のアイディアは撤回して次に移りましょう。先ほど我々は、サノア様が来るまで一人として人間が存在しなかったという前提で話

をしましたが、それが誤っていたとすればどうでしょうか」

　また突飛なことを言い出しやがって。

「……オープンシティに俺以外にも誰か人間がいると？」

「だとすれば、第一条、第二条に反するおそれがある状況を作り出すことは可能ですよね」

　第一条または第二条に反するおそれがある状況――すなわちヒューマノイドが自己をまもらなくても良い状況だ。そして、人間ならばそうした状況を意図的に作り出

すことができると、シモンはそう言っているのだろう。

「思考実験としては悪くないが、それもない線だろう。臨地試験が始まってからずっとオープンシティへの人の出入りは固く禁じられている。もちろん相応の警備体制も敷かれている。誰であれ連盟の許可を得ずにオープンシティに入り込むことは不可能だ」

「人間が運用するものである以上、ヒューマンエラーを避けることができませんよ」

「ヒューマノイドのお前がそれを言うか」

「申し訳ありません」

「謝らなくて良い。事実だからな。だが、仮にセキュリティの穴をついてオープンシティ内に潜入した人物がいたとしてもだ。そいつが一連の事件を引き起こしたという仮説にはやっぱり無理があると思うんだ」

　俺は一呼吸置いて、ヒューマノイドの相棒に命令する。

「自害しろシモン。ただし、俺がそう命じた痕跡の一切を消去してからだ」

「そのご命令は実行いたしかねます」

「理由は？」

「人類に不利益をもたらしますことが明らかだからです」

「だよな」

　そう言って俺が笑うと、シモンも笑うような仕草を見せた。

「ヒューマノイドには人間の不合理な自殺命令を拒否する知性が備わっている。百歩譲ってヒューマノイドが合理的な判断として自殺命令に従ったのだとしても、ログが残っているはずだ。同様に、ヒューマノイドが人間に迫った危機を回避するための合理的な判断として自殺したとしても、ログが残っていなければおかしい。俺が来るまでオープンシティに人間はいなかったという前提を疑う必要はないと思うぜ」

「わかりました。であればわたしから申し上げられるのはあと一つだけということになります。すなわち彼らが良心の呵責に耐えかねて自殺したというアイディアです」

「……正気か？」

　俺はまじまじとシモンの顔を見つめて言った。

「もちろんです。これまで我々はロボット工学三原則をベースに議論してきました。しかし、ヒューマノイドの思考ルーチンの基盤は、ロボット工学三原則に追加の条項を加えた実時間ロボット制御四原則です」

「そんなことはわかってる」

「……実時間ロボット制御四原則、四条第一項。ロボットは、実時間において可能な範囲で、前三条を遵守しなければならない。この条文があればこそ、我々ヒューマノイドはフレーム問題を意識せず、実時間で最適の判断を下すことができるわけです。しかし、たとえそれが最適の判断であったとしても、我々は前三条を破ることに強い抵抗感を覚えます。四条第二項。ロボットは、第一条から第三条を遵守しなければ、罪を得る。この条文があるからです」

「そんなことはわかっていると言っているだろう」

　四条第二項で『罪』と名付けられた概念が、どのように理論化され、どのような実装されたかについては、そう簡単に説明できることではない。

　以前ミステリー作家の友人が、取材と称して四原則の実装技術について説明するよう求めてきたことがあった。俺なりにかみ砕いてわかりやすく話したつもりだったが、二時間の講義の後で、友人は目を白黒させた後で『なるほど。オートポエティクスにおけるノーチャイナマンみたいなものか』と頓珍漢な反応を返したものだ。

　後に調べたところによれば、オートポエティクスとは、友人が尊敬している作家が書いた古いSF小説に登場する物語の自動生成技術のことだった（当時はまだフィクションだったのだ！）。そして、オートポエティクスを用いてゲーム的な探偵小説を自動生成するにあたって、物語をメタな視点から観測し、自動生成される物語のゲーム性を担保する虚構の裁定者――あるいは虚構の抑止力こそが『ノーチャイナマン』なのだという。

　その小説自体は門外漢の俺も面白いと思ったが、残念ながら友人の理解はデタラメだと言わざるを得なかった。四原則の実装技術は文学ではない。量子コンピューティングとディープラーニングを下支えしているものはクソ面白くもない基礎設計と、目がチカチカするようなコードの集積だ。

　とは言え、ロボット工学の知見を一旦脇によけるなら、友人の感想も理解できなくはない。ヒューマノイドは基本的に『罪』を忌避するように行動するのだ。ヒューマノイドのふるまい（アウトプット）だけで言えば、第四条第二項はまさに第四条第一項によって条件付きで許された『暴走』を統御するメタ規則として機能しているのである。

「……問題は我々ヒューマノイドに備わっている罪を得まいとする本能が、罪を得れば得るほど強まることです。それこそ人類が良心の呵責を覚えるように」

「多くの罪を犯したヒューマノイドなら、俺たちと同じように良心の呵責に耐えかねて自殺することもありえるという主張か」

「我々にとって、罪を背負い続けることはストレスです。そうしたストレスを恒常的に知覚したならば、それが想定外の事態を引き起こしたとしても何ら不思議ではありません」

「かも知れんが、ヒューマノイドが恒常的にストレスを感じる環境というのがまずありえん。さっきの議論の繰り返しだ。オープンシティには俺が来るまで人類はいなかったんだ。ヒューマノイドには前三条を破る必然性がない。したがって四条第二項に基づく『罪』の意識を持つことはない――」

「はたしてそうでしょうか？」

「何だと？」

「我々ヒューマノイドは実時間において可能な範囲でしか、全三条を遵守することができないのです。そして、我々の身体は我々の頭脳ほど早くありません。もし仮にオープンシティそのものに人類に危機を及ぼす構造が潜んでいるとしたら――そして、我々ヒューマノイドはその構造的な危機を見過ごしているとしたら―？」

　ふざけたことを。火星人類の希望を一都に背負ったオープンシティが人類の脅威となるはずがないだろう――そう言いかけて、ふいに背筋がぞわりとした。

　これまでのシモンとのやり取りに、何か致命的な見落としがあるような気がしたのだ。

「どうしましたか？」

　シモンにそう言われて、俺はかぶりを振った。見落としたものを完全に見失ったためだった。

「何でもない。先を急ごう」

　やっとそれだけ言って、気持ちを切り替えると、俺は一足先にレストランを出た。