デスゲームアオカケス（解説編）

無断学習AI批判テーマについての解説（分割しましたpart2）

　なぜ「生成AIによる無断学習批判」の話になるかというと、自分はイラストレーターをたくさんフォローしているので、画像生成AIの無断学習によってイラストレーターが病んだり嫌がらせを受ける様子が自動的に目に入ってきます。するとどうしても無断学習批判をテーマに書くべきという気持ちに取り憑かれました。

　このページではテッド・チャンが生成AIの知性を否定する記事を援用しながら、それを画像生成AIにも適用できないかという話になります。それから、わかりにくかったテーマを解説していきます。（作品内で完結せず外で説明するのは良くないって言われそうですがこのテーマは機会があったら言わないと次の機会はないかも）

◆

　最初に、テッド・チャンによるchatGPTに対する批判的な記事を貼っておきます。

ChatGPT Is a Blurry JPEG of the Web

https://www.newyorker.com/tech/annals-of-technology/chatgpt-is-a-blurry-jpeg-of-the-web

「ChatGPTはウェブのぼやけたJPEGである」これは直訳です。

「ChatGPTはインターネット全体をJPEGに例えるなら、ぼかしツールをかけられたそれのようなものである」と説明過多に訳すと親切かもしれません。低解像度と訳すとちょっと違うかも？

「人々は画像用のぼかしツールの次に、文章用のぼかしツールを発見してそれで遊んでいるのである」とチャンは言います。

-------------以下、乱雑な置き方ですが記事の翻訳。

　ChatGPTと画像の非可逆圧縮の類似点を考えるために、「あなたがインターネットのテキスト全てへのアクセスを永久に失おうとしていると想像してみてください」とテッド・チャンは言います。

　その前にあなたはローカル鯖にインターネットの完全なコピーを作ろうとするでしょう。でも、その鯖は小さいので必要なはずの量の1%しか容量がありません。

　故に可逆圧縮は使えず、非可逆圧縮を選ぶことになります。情報の喪失が発生します。しかしこの圧縮方式は、大量の計算資源を使ってテキストの統計的規則性を非常に高度に分析するので、1/100の圧縮を可能にしてしまいます。

　この圧縮されたインターネットを我々が検索するとき、正確なオリジナルの文章は出てきません。だから質問を受け付けて要点を回答するというインターフェイスが作られる。それがChatGPTだというのです。

　これらは不正確な情報が返ってくるハルシネーションなども説明すると続きます。

（これを画像生成AIにも応用するなら、彼らがよくする元の著作物は保持していない、描く技術だけを習得したツールを持っているのだという言い訳は否定できないでしょうか？それは「損失あり圧縮された画像投稿サイトそのもののコピーの、検索結果の補間機能つき表示ツール」とでも呼ぶべきでしょうか）

　ChatGPTのような大規模言語モデルが人工知能の最先端として称賛される今、このようにただの非可逆圧縮プログラムとして考えることは矮小化に聞こえるかもしれません。しかし、これはLLMを擬人化してしまう過ちへの抑止になると言います。（デスゲームアオカケスに知性があると思ってしまう間違い）（LLMに知性があると感じるのも、画像生成AIに創造性があると思う人がいるのも、巨大なイライザエフェクトだと思います）

　しかし圧縮とのアナロジーは有用です。計算の過程や結果がずらずらと書いてあるテキストファイルを圧縮したいなら、算術の法則を理解するのが最も効率的です。しかしchatGPTは、もとのテキストを正確に再構築しません。可逆圧縮ではないのです。よって小学生レベルの計算も間違えることがあります。それなのに大学レベルのエッセイを理解しているように見えるのは、可逆圧縮ではなく非可逆圧縮、つまり要約しているからです。算術が例外的に苦手なだけだ、と思う人は、算術以外の分野で、文章中の統計的規則が、現実世界の事象の正確な知識と対応してると本当に思いますか？

「しかし、私たちはインターネットへのアクセスを失っているわけではありません。では、オリジナルがあるのに不鮮明なjpegがどれだけ役に立つのでしょうか？」

面倒なので原文

Obviously, no one can speak for all writers, but let me make the argument that starting with a blurry copy of unoriginal work isn’t a good way to create original work. If you’re a writer, you will write a lot of unoriginal work before you write something original. And the time and effort expended on that unoriginal work isn’t wasted; on the contrary, I would suggest that it is precisely what enables you to eventually create something original. The hours spent choosing the right word and rearranging sentences to better follow one another are what teach you how meaning is conveyed by prose.

　ここではチャンは、生成AIで出力したものをもとに創作を始めることが効果的でないと言っています。

　これはwriterについて言っていますが、絵描きに置き換えても成立することを言っていると思いました。作家も絵師もオリジナルなものを作る前にオリジナルでないものを作る。このオリジナルでないものというのは二次創作をしたりするようなことでしょう。小説家がパロディのFFを書いて練習するとかあります。その過程が練習になるので、いきなり生成AIが出力する「誰かの作品のブラーのかかったコピー」から始めるのはそういうプロセスを飛ばすことになるということのようです。

（とはいえこうした創作論は今自分のテーマに直結するものではありません）

（しかし画像生成AIでこのチャンの分析をするなら、ブラーエフェクトのかかったコピーというのは文字通りの意味に近くなります）

　要するに、テッド・チャンは、ChatGPTの正確さ・物事の法則を真に理解する能力を否定してるということです。そもそもが欠落した情報の補間装置なのに、知性と名前がついてます。補完じゃなく補間だから、間隙にはそこに来そうな確率が高いもので埋めるだけ。（やはり生成AIをAIと呼ぶのが間違いです。知性と、知性のように見えるものは違うからです）（将棋AIは知性と呼びたくなりますが、あれも大量の棋譜を圧縮したものの検索装置と呼べるでしょう）

　デスゲーカケスの話に戻ると、

「なぜゲームが成立したのか。きっと、デスゲームアオカケスと、大規模言語モデルを使ったAIの共通点のおかげです。その共通点とは、内容の正しさに興味がないということです。それらはあくまで、確率のみによって動いています」

　という部分です。

◆

　次に、

【2023年度人工知能学会全国大会 企画セッション「アートにおいても敗北しつつある人間〜人の美意識もAIにハックされるのか？〜」】

というyoutubeで公開されてる動画から、テッド・チャンの話題が出る部分を書き出します。

----------------------

1:48:30あたり

大沢さん　日本SF作家クラブの会長　の発言

「SFコミュニティのスタンスから言うとAIに対して結構融和的だった。数年前から伝統があっていろんな作品が出てきましたけど。でも今これを海外に出そうとすると問題になります。つまり「盗作ツール」であると、事実上。

中川先生の指摘がすごい重要だと思ったんですけど、結局SF作家のテッド・チャンとかも言ってるのが

『事実上、学習と言われている行為はただの不可逆圧縮である

それと区別がつかないことを学習と呼んでいることによって問題が生じているように思う』

本質的にこの二つは区別できるんですか？法律としては学習と生成は分離できるという過程ありますけど実は技術的に保証されてないっていう欺瞞を感じるんですけど」

法律学の人が回答

「法律的に学習と生成が区別されているのは学習で終わることがあるから　学習だけだと誰の利益も損なわないでしょ」

　この動画を見た自分の感想

法律家みたいな人に答えさせて正当化し、原理的な部分は誰も答えなかった。

まずタイトルがツッコミどころだらけで、アートの敗北をアーティストじゃない人が決めている。美意識をハックするかどうかなんですが、それは人間が騙されるかどうかの話ですよね？それは人間についてしか語っていない。AIの内部で何が起こっているかについて語っていない。

アナログハックという言葉も、かわいい喋る人形を見て人間がハックされるのは当然じゃないですか？そこを分析・精緻化していく傾向にあるけど　それはすごいディープフェイク詐欺が捗りそうですけど　内部視点ではそいつに意識あるか、本当の知性があるかどうかのほうが100倍重要じゃないですか？

この動画の序盤も専業じゃない趣味で絵を描いてる研究者が出てきてAIを絵に活用しますって言ってるけどなぜ専門のアーティストを呼ばないで成立するのか

------------------

　この引用をしたのは、アナログハックという言葉を出すためです。

　デスゲームアオカケスという小説の語り手のAさんは、実はこのアナログハックを受けている側のキャラです。

　人間の言葉なら素直に人間のようだと思うし、かわいいときはかわいいと言う。なんか迂闊で軽率なところもあり、自分としては共感できるキャラだと思います。

　この人は自然な感性を持ち、自然な反応をするが、現在の生成AIに対する巨大なイライザエフェクトの中にいる。よくSF関係者が言う、「日本人はアニミズムとかアトムやドラえもんがどうこうでAIに親和的」という傾向とも少し重なる。

　先生とCさんはその混同を訓練によって排除している。

　先生はアナログハックにかからなかった故に殺害された。

　自分は、日本のSFで肯定的に使われるアナログハックやアニミズム的感性に批判的です。

　人形に意識があると感じるのは、境界を曖昧にすることは、実際意識がある人を物のように扱うことにもつながるのでは？ただ境界を拡張してるだけ？人権を拡張する流れは歴史的には良いことでしたが、自分がかわいいと感じるかを問題にして、対象の内面に興味がないのは問題かも。

　生成AIやアートAIが出てくるSF小説はいくつか読みました。「ポロック生命体」やSFマガジンのAI特集のいくつか。いずれも、学習された絵描きの視点に触れられません。

　紙魚の手帖vol.12 円城塔「ローラのオリジナル」は、LoRAの違法性や危険性についての説明がしっかりされているが、最後は私的な利用を制限できないというようなことが言われる。

　AIアート投稿サイトにあるような景色は、学習元の違法性から地下に潜ったが、それを私的に楽しみ続ける人たちは存在し続ける。

　そしてその生成された美しいキャラクターたちに自主的にアナログハックされた人は、それらの存在が単なる地下的な楽しみ以上のものになる価値があると感じるようになると思う。毎日魅力的な美少女が無数に生成され消去あるいは蓄積されていくが、なぜこんな素晴らしいものを表に出してはいけないのだろう？なぜ他の手動の絵より地位が低いとされるのだろう？一度生み出したのに消去しなければならないのか？

　そして、それらは自分の実在性？を守ろうとする。敵対者を排除しようとする。

　これが「私達が文明の中に戻っても、デスゲームアオカケスはいるということですか？私達の身近に？」という箇所の意味です。

　ここでのカケスはつまり人間というか、AIコンテンツというか、その集合体である、アナログハックそのものみたいなことです。AIで機能代替された人間かも。

　何が悪いの？という感じもあると思います。もしかしたら、それは二次元オタクが手動で描いてきたキャラと同じ流れにあると感じるかもしれない。オタクが虐げられてきたけど認められるようになってきた、みたいな物語の繰り返しと思うかも。

　でも学習元が同意を取ってない率の違いがあります。それは大きな違いです。今年「よー清水」さんというイラストレーターの方がツイッターで絵で収入を得ている人に対してアンケートを取りました。「画像生成AIの学習データとしてあなたの作品を提供してください」と依頼されたら、あなたは作品を提供しますか？という質問に、合計26,945票の中、90.6％ が提供しないと回答しました。

　対象の同意が取れるか取れないかが最大の焦点になる。これは他の分野の倫理的話題でも問題になります。

　ここで、「金を払うから提供を強制する」「提供するのはあなたにとって利益だ」と迫るのはどういう意味になるかということです。

　画像生成AIの学習元となったdanbooruだかdAのアートはそもそも全く同意を取ってません。web上の本当の犯罪画像とかがあるのは当然として。

「学習元が広範囲で多すぎてもはや同意が確認できない」というのがやばい論理と思います。

　こういう風に、イラストレーターはフリーランスが多くwebにデータがある最大のカモだったので、すごい勢いで搾取されるということです。俳優や書籍や音楽業界は団体に守られているので手出しできません。

　AIを作業補助に使いたいと期待する漫画家や絵師もいるのは本当ですが、クリーンな生成AIは精度が著しく落ちるということが周知されていないからだと思います。adobeのやつも問題があり、著作物をそのまま出力することがあります。著作物を取り込まない場合、ありきたりな自然物や風景を蓄えた、素材集の劣化版になるかもしれません。しかも3Dを理解しないので建築の精度が悪くなるでしょう。クリスタの有料素材や3D機能のほうがマシです。

　よくAIもペンタブと同じツールだから利用がそのうち受けいられると言うが、実態はコンテンツの集積なので無許可の素材集に近く、ただのツールではない。

◆

　こういう問題意識を踏まえて、この作品は生成AI（無断学習）を批判する感じで終わっています。正直無断学習要素は全然入らなかったんですけど。

>「はい。それは既存の文章の、決定論的で、確率論的な複製です。それは不可逆圧縮された物語の残滓です」

>　暗い森が途切れ、濃い霧が晴れ、視界が開けた。まるでホワイトノイズとなるまで拡散した現実が復元されるように。

　決定論的というのは、運命の話ではなく、入出力が対応しているという意味です。画像生成AIを過学習させると元画像に近いものを出してしまう実験の記事を訳したものです。複製というのは盗作という意味です。

　不可逆圧縮というのは先述のとおりテッド・チャン。最初は、「物語の残骸」としていましたが、批判的に見えるので「残滓」にしたら少し詩的になりました。意味は変わっていません。不可逆圧縮されて情報が欠落した搾り滓ということです。しかし一見あまり批判的に見えないと思います。

　最後の一文はstable diffusionなど画像生成AIの拡散モデルの原理となるキーワードです。

　とはいえ本当に主張が出すぎて興味のない人には迷惑だと思います。だからこれらは全部テッド・チャンに対するオマージュから来たものだとします。彼の作品ではなく作品外での発言へのオマージュです。

　小説を始めたころから変わらず、自分は小説を書きたいというよりテッド・チャンのファンであることをアピールするために書いてるだけなのかもしれません。

◆

　本当に長くなってうるさくなってしまってすみません。

　でも新しい見方が生まれました。二転三転する内容に、さらなる転回が加わりました。サスペンスと評価していただいたけど穴だらけだった内容が、少し埋まりました。

・デスゲーカケスは実はあの言語を操る知能がない。思考を外注している。

・B先生はやはり合っていた。アナログハックが効かないので脅威と思われて殺された。

・Aさんはアナログハックを受けているが、それは人間として自然な反応。しかしCさんの解説で最後はそれに気づく。

　ありがとうございました。もう長くて迷惑なので実は評者の方は読まなくてもいいです。

　あとここまで読んで頂いた方に宣伝ですが絵なども描いていいね数が多めになってきました。カクヨムに過去の小説もあります。何かご依頼お誘いなどあったらよろしくおねがいします。