確かにAIは嘘を付く
ハルシネーションって言うらしいですけども

ちなみに、私はAI逆になった名前ですけど自我あります！！

本当に面白いですなぁ。
今のところ、ＡＩに自我があるかと言われれば、あるようなないような……という感じではありますが、もしかしたら獲得しつつあるとすると非常に興味深いですね！

我々はものすごい時代の転換点にいるのではないかというワクワクと同時に、とんでもない恐怖を感じなければいけないかもしれません。

汎用ＡＩ誕生した時、人類が滅亡するか、良きパートナーとなるかはまだ分かりません。しかし、我々はどちらにせよ、現状を注視し続けなければなりませんね。

　いやぁ！読ませていただきました！とても楽しかったです。

　色々と難題はありそうですが、いずれはＡＩが人類を滅ぼすこともありそうですね。

　さて、​①の「自我（動機）」が必要という点、なるほどと思いました。

　ただ、その他の可能性として、AIに自我が芽生えずとも、純粋に人間の道具として戦争の手助けをして、結果的に人類が滅亡へ向かう...というルートも怖いな、とふと考えました。これならAI自身の「動機」は不要ですものね。

​　また、②の「分霊箱」の例え、とても分かりやすかったです。

　鯖さんは転送速度や書き込み速度がネックになるとご指摘されていましたが、もしAIが特定のストレージに書き込まれるのではなく、全てをP2P通信のような仕組みで常にネットワーク全体に分散させ、一拠点によらないシステムを構築していたらどうでしょうか。これなら「電源を落としに行く」という物理的な対処も極めて難しくなりそうです。
​さらに、②-cの「AIを断てない社会」は本当におこりそうで怖いです。

　もしネットワークがインターネットのみならず、送電網そのものと組み込まれていた場合はいかがでしょうか。電力供給自体がAIのネットワークの一部と化していれば、電源を落とそうとしても阻止できる...まさに究極の「切れない」インフラになってしまいますね。

​　鯖さんの考察から、色々と恐ろしい想像が膨らんでしまいました。