「それから十年近くが経ち、私のもとにGSAIが転がり込んだ。今まで経験したことのない巨大なプロジェクトで私は興奮し、GSAIのフレームワークを夢中で考えた。富や権力に関係なく使える標準AIと、それを支える共通のデータプールという考えは最初からあったが、アイデアを具体化していくうちにGSAIの重大な欠陥に気づいたんだ。

　共通のデータプールにすべての情報を集めるという考えはセキュリティの観点からも、全体主義的だという点でも批判が多かった。けれど、私はあまり問題ではないと思っていた。AIの質は情報の量に依存する。さまざまなリスクを考えても、情報を一箇所に集めるリターンはそれを上回る。私はそう考えていた。

　問題は誰もが簡単に扱え、独立して動作する標準AIのほうだ。

　円周率を短時間で計算するように命令されたAIは、地球の資源をすべて使って円周率を計算するようになってしまうなんて嗤い話を君は聞いたことがあるだろうか。その嗤い話をGSAIは体現してしまうのではと思ったのだ。各企業や団体が好き勝手に評価関数を設定すると、各標準AIはそれを最大化するために動く。限りある地球資源や、数値化できない人類の幸福なんてものを考慮するように、彼らが標準AIを設定することはないだろう。そういったものは彼らのメリットと相反することが多いからだ。したがって標準AIの視界に入るものは短期的で利己的な所与の評価関数だけとなり、共有地の悲劇なんていう使い古された概念を地球規模で実現してしまうことになる。

　そんな馬鹿なことがあると思うかい？　けれど、人間だって似たようなことをしてきたのだよ。経済成長の目標のもとにGDPを増やすため、環境や幸福なんてものを二の次にして百年以上も過ごしてきたんだ。人間よりももっと視野の狭いAIが同じ過ちをしないなんて確信を、いったいどこに持つことができるだろう。

　私はこの問題について数ヶ月考えた。問題は標準AIがユーザーに設定された限られた視野しか持たないことにある。ユーザーから与えられる以上の全体観を各標準AIに搭載することは技術的には可能だが、そのようなAIを動かすためには莫大な計算リソースが必要になってしまう。そんなリソースを用意できる人間は限られてくるだろうし、なによりリリースされれば数多稼働するはずの標準AIが、各々でそんな計算をするのは人類全体から見て非効率だ。それこそ、円周率の計算のために地球の資源を食い尽くすような事態になってしまう。

　迷った末に、標準AIに人知れず通信経路を作ることにした。その先は標準AIよりも数万倍も強力なAIにつながっている。私はそのAIを皮肉を込めて独裁AIと呼んでいるよ。標準AIが活用しデータを蓄積する共通データベースを通じて、独裁AIは社会全体をモニタリングする。もし社会全体の不利益となるような行動をするAIがあれば、君が見つけたバックドアを通じてコマンドを送り、正しい方向へと導いてやる。独裁国家のやっていることとほぼ変わらない、全体主義的なシステムだ。

　苦肉の策ではあったが、これがGSAIを実現するにはこの方法しかないと今でも思っている。

　GSAIにバックドアを仕掛けたのは、私なんだ」

　アランは私にそう懺悔したのだった。