8.(おまけ)Geminiはガチ評価(診断)に向いていないのか?への応援コメント
Opus4.6は確かに優秀ですね
ただし、生成AIはそもそも「面白い」を理解できないですからね。
作者からの返信
「流行の先」も無理ですよね(苦笑)
でもだからこそ、テンプレ作品でヒットするものは工夫したら書けてしまうんだろうなとも少し思います。
書籍化作家なんだけど連載が「それAIで書いたよね?」みたいな作品をみつけてしまいました。
質問:作品の長さで評価ブレますか?への応援コメント
評価系プロンプト公開されている方で★4桁越えの作品持っている人をみたことないんですよね……
批評の正誤はともかく、AIのアドバイスに従ってもwebでウケる作品にはならないんだと思います
なんでカクヨムやなろうで戦う場合には正直意味あるのかな?と思ってしまいます
作者からの返信
プロンプト作る能力と作家能力はイコールではないとはいえ、創作の場合はそれめちゃくちゃ不安要素ですね(;´Д`)
私だったら実績出来てから出ないとそういうことはできないですが…(だから考察はしても創作論は書かないw)
とくにカクヨムやなろうは流行の回転が速いので、戦いたいならアイデア力を鍛える方が有効な気がします。自分の能力も上がりますしね(*'ω'*)
編集済
7(おまけ)とある人気プロンプトを精査してみた結果への応援コメント
興味深く拝見してます。自分も使ったことありますが同じプロンプトでも、ジェミニとチャットgptとコパイロツトで全然違うし、長文入れたら、勝手に改竄した内容をピックアップして、ここが良くない改善点とか言われたことあります。
小分けに読ませれば多少は納得できる回答を返してくる傾向が高いなと思ってました。信用できるのは文体のトーンをチェックくらいですかね。。
作者からの返信
AIは論理強いですからね~文体&小分けは間違いない使い方だと思います。というか小分けにしないと気が付かない状態で間違い残されるの怖いです…
AIはどれも個性ありますが、指示さえしっかりしていれば類似の結果に寄っていくものなので全然結果が違うということはそのプロンプトは全然設定がきちんとされていなかったということだと思います、残念ながら(;´Д`)
一番怖いのはそういうものが「使えるよ!」って配布されてることだなって思います。
質問:作品の長さで評価ブレますか?への応援コメント
なるほど、多くの人はそういう使い方をしてるのだなぁ、というのがよくわかるまとめで、参考になりました。
近況ノートにも書きましたが、数量的に計測できる使い方をすれば、どのAIでもさほど変わらない分析をしてくれます。形態素解析や文体、文章構造などなど。
なので、書評も「なんとなく」評価させるのではなく、後半で触れられている様に、数値で分析できる内容を指定して評価させるといいんじゃないかなぁ、などと思いました。
作者からの返信
確かに数とか論理とかは生成AIは一番得意とするところですもんね。「答えが確実にある」使い方をさせるのは良いと思います。
もっとも数量的に計測させる使い方がふつうの人はできないのではないかと……
本文はそういうことに気づかない人が妄信危険に気づいてくれればいいかなと思うのですが、唯野さんみたいな方には「そうだよね」って読んでもらえたらそれでいいなと思います。ありがとうございます。
質問:作品の長さで評価ブレますか?への応援コメント
長編書いて感想ゼロで、公開プロンプトを使いまくったので、結果を参考に書き込みますね。
CopilotとGeminiを使ってみましたが、copilotは10240字、Geminiも2~3万字くらい一度に貼れます(添付ファイルではやっていません)。まあ、どちらも併せて2万字くらいでまとめの限界という感じがしました。3万字はもう怪しいですかね。忘れる忘れる。
なので、長編に関しては、伏線回収の検証とか全体の矛盾の有無とかは全然あてになりません。完全にモチベ維持、お遊び利用がおすすめですね。
私のは30万字越えの積み上げ積み上げしていく長編なので。全体読んだ感想が欲しくて、公開してくださっている方のプロンプトで遊んでいました(コンテスト結果予想なんかも楽しんでいます。内部情報がわかるわけないですから、モチベアップ目的で)。
目的にもよりますが。参考に私の長文小説での利用法を貼っておきます。
1.欲しいタイプの感想依頼など目的に応じた依頼を、最後にまとめてちょうだいね、と予告する。
2.約2万字ちょいくらいで本文を貼ってその結果を別に保存しておく。好みの公開されているプロンプトなどを利用させてもらうのも良いかと。
※copilotなら2回もしくは3回に分けて貼るから貼り終わるまで何もせずに読んでいて、と言って『2回に分けて貼る1回目』とか書いてから貼る。
※『長編の序文』とプロンプトにある場合は『長編の一部』と改変する。ただし、『改変不可』で公開しているものは改変利用してはいけません。
3.1~2を繰り返す。つまり、毎回、最後にまとめてもらうこととやってもらいたい作業(プロンプト)を貼り、本文を貼り、結果を別に保存する、ということを繰り返す。
4.最後に、最後のまとめをお願いね、と、保存しておいた各回の結果を2万字以内で貼り付けて総合的な結果をもらう。
これで長編全体の話をAIと共有できます。あくまで事前指示した内容に即してですが。
毎回貼るものの要約を作らせて、その要約をつなげて、その作品についてお話するとかですね。要約を細かく作らせて繋いでおけば、作品についての会話がしばらく楽しめます。モチベアップには良いです。
話しているうちに、まとめも忘れるので、時々貼りなおすといいです。
あくまで『作品について自分に都合よくお話したいときのおススメ』で、検証には使用できません。時々、この部分のことだよー、と本文の一部を貼りなおしたりして遊びます。
参考までに。長々と失礼いたしました。
↑は危ない利用法と思われた場合等は、お手数ですが消去してください。その場合は私の考えが足りないと理解いたしますので、気にせずザクっとお願いします。
作者からの返信
壁打ちできる人なら、公開プロンプト使わないで自分の言葉で「ここ教えてね」から始まって結果を見ながら「ここはどうなの?」って聞いていくのが一番精度が高くなるんじゃないかなと思います。
長文を貼り付けること自体はできるのですが、自分が使いづらくなるとか話を繰り返しているうちに忘れるっていうのは今の「AIの一番身近で大きな課題」だと思いますし、でもこれ数か月でどんどん機能改善するので半年待てば確実に使いやすくなるんじゃないかなって感じます。
ご自分なりのやり方を教えてくださってありがとうございます。
試行錯誤は永遠に終わらなそうですよね(苦笑)
7(おまけ)とある人気プロンプトを精査してみた結果への応援コメント
私はカクヨムコンに30万字越えの積み上げていく長編を出したのですが、長すぎて全部読んでの感想はゼロ。
なので、AI批評や感想はたくさんやってみました。
元が感想ゼロなので、どんな反応でもうれしいです。もともとAIは遊び相手とあいまい検索などで使用していたので、改善案などは無視で楽しんでいます。
AIは話を合わせてくるだけで嘘もつくし、私も随分「おい、ちゃんと読んでねえだろ」とAIに突っ込みを入れました(笑)
こちらの一連の投稿を読んでいて、遥か昔にパソコンが会社で使われ始めた頃に読んだエッセイを思い出しました。
『請求書の計算が間違っていたので連絡したら「パソコンで作ったから間違っていない」と言われた。』という話です。
理解せずに使用して結果を過信しているわけです。
普及初期なので、請求書の書式を作った人は数々の注意事項を与えていたと思うんですが。式が保護されておらずに壊れたか何か原因があったのでしょうけれど、パソコンが作ったからと検算もせず指摘にも反論する方がいたわけです。
ああ、AI普及でまた同じようなことが起きているだな。と思いました。
まあ、パソコン関係に限った話ではないですがね。
エンタメとしての利用者なので楽しく遊んで気にしていませんでしたが、注意事項を無視もしくは読みもせず、自分が使うものを疑いもせず行動する方はいるでしょう。
この注意喚起は必要だと思いました。
作者からの返信
>元が感想ゼロなのでどんな反応でもうれしいです。
私はその使い方、すごく健全だと思います(笑)
AIにつっこみ入れられる人は割とメンタル的に安全圏な気も。
>パソコンが会社で使われ始めた頃
どんだけ平成な感じですか。でもパソコンで作ったから間違っていないというのはもうなんか…
どの時代も同じだな
って思います。AIにかかわらず妄信はどんな分野でも危険だと思います。
いずれエンタメ利用する人間からするとAIはエターナルで遊べるおもちゃだけど、仕組みが分からない人用への啓発や注意喚起として見ていただけたのはとてもありがたいです。
コメントありがとうございました。
3.評価プロンプトを使って分かった致命的な問題への応援コメント
こんにちは。思ってることを代弁してくださってる記事を発見して思わず書き込みました
私がネットで見つけた評価プロンプトの中で(考えかた含めて)良い出来だなと思ったのは「小説評価プロンプト v4」
Googleで検索するとたどり着けると思います。
上のプロンプトはClaudeを推奨しています。AIの進化は本当に早いのでバージョンが変わると、得意不得意がだいぶ変わってきます。いま(2026/3月現在)は、文章評価ではClaudeが一歩抜けてるかなという気がしています。
作者からの返信
Claudはプロンプトが別格納だから、まさに小説、作家向きのAIですよね。私も長文翻訳していますが「Claud以外は長文無理そう…」という結果にたどり着いてました…
Geminiも最近のアプデで大分論理的になったみたいですし、半年たてばAI関連の記事は役立たずになるんだろうなって正直思います。
でもプロンプトを作るのも使うのも素人が多いので、啓発的にはたくさん反応いただき成功だったかなと。
Claudももう少し安価なプラン出たらいいなーと思いつつ、眺めていきたいと思います。
編集済
質問:作品の長さで評価ブレますか?への応援コメント
詳しくまとめてくださってありがとうございます。
やはり長編全体評価は難しいですか……
プロンプト活用は詳しくないので聞いてみたのですが、やはりそうなのですね……💦
予定と違う展開になったり、作者の文章も変わったり……など、長い目での変化も作品としての醍醐味なのに。とも思います。
評価プロンプトの危険というより、作者側が「その作品全体の評価だ」と思い込んでしまう状況が危険なのかもしれませんね。今回の検証のように、尺の長さの違いなどは対応しきれてないわけですし。
あくまで場面ごと・序盤フック・短篇としての評価だ、と切り分けることが大切なのかもしれません。
本当にありがとうございました。
作者からの返信
こちらこそ有意義なコメントありがとうございました。
実は、現在ChatGPTとGeminiに並んでClaud(クロード)という生成AIがあるのですが、長編はそちらが確実に向いているようです。
自身が使っていないので詳細は書けないのですが「プロンプトは別扱い」で常に読み込んでくれるので、ほかのふたつのAIより設定を強く維持してくれるようです。
作者の人間的な文章成長とかはさすがに無理かと思いますが…プロ漫画家でもありますもんね、絵が連載当初と全然違う!!みたいな(笑)
お互いAI疲れしないように振り回されないように使いましょう(*'ω'*)ノシ
編集済
8.(おまけ)Geminiはガチ評価(診断)に向いていないのか?への応援コメント
AIの感想を鵜呑みにするほどバカなことはなかなかなくて、不当に貶められてても、おべんちゃらを言われても、正気でいる精神力が求められていると思います。
軽く気になったのは、この本文で述べられている検証対象がGeminiやChatGPTのどのグレードなのかよく分からないことです。明記していただきたい。もちろんGemini ProやChatGPT Proでも変わらない問題ではありますが、無料版でテストしてこういう記事を書かれてもなあ、という気がします。
作者からの返信
掬月さんのようにしっかりそれが分かっている方は読まれなくても良いお話かな?と思います。こちらの文章はそれがわからない方への啓発を兼ねています。
グレードについては最低ラインの無料版で割とそこかしこに書いていた気がしますがなかったですか?(最後に無料版でこういう記事書かれてもなぁと断定されているので実際目にしているのかと思いますが)
理由を付記すると「多くのユーザーが無料利用をしている」あるいは「最低限で統一すると無料版」になるからです。最低限のラインに合わせて話を作っています。
お見込みの通り元のプロンプトの前提が曖昧であれば制度は低いですしね…
ただ一方で、検証は無料で筆者がこれくらいできるんだから、きっとそこを指摘される掬月さんレベルなら自分でできるよね?と思ってます。
だからそういう方向けではないのです。
掬月さんには、ぜひもっと詳しく検証していただき、こちらよりもぜひもっとハイエンドユーザー向けの考察をしていただきたいと思います。その時は拝見に行きますね。
2.AIは選考者目線で、小説を評価などしないへの応援コメント
そりゃまあ、人間の素人に「選考者目線で」ってお願いしても無理なように、AIにも無理ですよね。
作者からの返信
選考者だって人間だから完ぺきではないですしね。再現するのは難しいと思います。
1.本当はヤバい「自作小説をAIに評価させるプロンプト」への応援コメント
自分もAIに感想を貰っているクチなので、そこの塩梅は何となく感じます。AIの意見を全部取り入れるとなんか違うなーって感じになるので、気に入らないならガン無視します。
ただ生身の人間の評価もそんなもんな気もするので、そう考えるとAIも人間もあんまり変わらない気がしなくも無い…
作者からの返信
作家としての「ガン無視する直感」すごく大事だと思います。
生身の人間の評価は確かに。関係者であるならともかく、分かった気になって評価しちゃう人とかもいますしね…要は評価される側が正しくみられるかどうかだなって思います。
プロの編集者でも「ん?」って方いますし、編集スキルだけならAIの方が間違いないというのもあるので、扱う私たちが正しく知識をつけたいところです…
編集済
7(おまけ)とある人気プロンプトを精査してみた結果への応援コメント
いつも興味深いです。ありがとうございます。
AIプロンプトの評価ですが、「範囲としてどこからどこまでの評価か?」というのも気になります。
例えば短編や、中編〜長編の中でのワンシーン、Web小説で重視されがちな序盤フック、みたいな評価ならAIは得意かもしれませんが……
例えば、10話、30話、50話と……一定の長さを連載している作品の全体通しての評価、などは難しいのではないかと見ています。
全話分AIに投げても処理しきれない気もするからです。数話またいでの伏線回収とか。
もし手書きの長期連載だとしたら、途中で作者の文章が成長したり、予定外の展開があったり……など長い目の紆余曲折もあり、一部のエピソードや序盤で評価できないという不確実さはある、ということもあると思うのです。
ただAI素人なのでそのあたりは実際どうなのだろう……? と疑問に思うなどしました😅
作者からの返信
今回も素晴らしいコメントありがとうございます。
お返事遅れてすみません。例によって、本編に一話追加してお話にしちゃいました(笑)
ざっくりまとめると「全くその通り、ぬかびとさんの見込み通り」です。
私自身も大量のテキストを扱うようになって気づいたのですが、明らかに「上限」があったりAIが健忘症になるので長編は無理です…
答えるとこの二行だけで済んでしまうんですが(笑)
明日の20時くらいに更新予定なのでよろしければ見てやってください。
ありがとうございました。
6.そもそもAIは編集者・選考者目線で評価できない?への応援コメント
まだ作品にAIを使った事がありません。
設定資料が出来たとして、そこでAIを使って文章を作るほうがいいのか、それとも作った文章をAIに診断して貰って修正を入れる方がいいのか、それすらも判別できないままで作品を創れないのかな、と考えてしまうんです。
AIの評価はある程度信頼できるものも在るのですが。
作者からの返信
自分はAIとの壁打ちはあくまで「自分のアイデアを拡張」するために使用しています。
使い方は人それぞれで、例えば入力が早かったり個性のある文章を書いている人はAIを使うより自分で書いた方が早いと正直思います。
試しに作ってみたことがあるのですが、結局全文読み直して手入れをするのに時間がかかり私の場合は、最初から自分で作る方が早かったです。
文章については「事前設定や学習」をさせることでレベルが上がりますが、けっきょくこれを試行錯誤するには膨大な時間がかかるので、どっちがよいかは天秤です(苦笑)
一番間違いない使い方は、誤字脱字だとか非常に機械的で事務的なことをしてもらうことかなと思います。
5.AIの「なんちゃって評価」を信用した場合に起きる弊害への応援コメント
めちゃくちゃAIの評価を観て愉しんでますね。いいところは拾う。首をかしげる部分は保留。削れと言われれば割と削ってしまう。
作者からの返信
愉しんでいいところだけ拾うのは、すごく良い使い方だと私は思います。削れといわれば削る場所も、文章的な指摘だったら逆に冗長を減らすとか正しいこともあるでしょうし、わかっていて自分で判断できるならそれはいいことだと思ってます。
わかってないでやる(配布も使用も)のが結局一番まずいのだろうなぁとそこはブレないところです(苦笑)
編集済
4.小説評価系のAIプロンプト、それ設定がぼんやりですへの応援コメント
<必要なのは完ぺきな文章力ではなく楽しさ
ライトノベルが小説ではなくライトノベルという枠に振り分けられるのは結局のところ、娯楽の意味合いでのエンタメ要素が強いからだと思うんですよね。
読者がなんで作品にハマるかっていうと単純に面白いからで。極端な話、読者を楽しませることが出来ればなんでもいいと言うこともできる。まぁ極端な話ですがね。
段落先頭の字下げとか基本的な作法が殆ど出来てないのに書籍化してる作品だって山ほどあります。
勿論、ちゃんとした作法を覚えることは大事ですが、一番大事なのは読者に楽しんでもらうことだと私は思ってます。
ここら辺は作家によって優先順位が変わる所でしょうね。
私は「一人でも多くの人を楽しませたい」ということが根底にあるエンターテイナー型の人間ですが、「他人からの評価は二の次、ただひたすら自分の感じる世界を自分の言葉で表現したい」という文学的求道者もいるでしょうから。
なんかもう一周回って生の人間に直接聞くのが一番早い気がしてきた()
作者からの返信
ラノベはエンタメ。しっくりくる言葉だと思います。
そしてエンタメにしても稚拙なレベルと楽しいレベル落差が激しい上に混在しているのが今のラノベ業界だなと…混沌…
字下げなど作法についてはブラウザで読みづらくなったりするので個人的にはどちらが「読み手に取って正解」なのかわからない状態です。
字下げするとスマホでみるとがったんがったんしすぎでは?と思うこともあり、でも原稿にのっとって書かないと避ける人もいるので正直「統一してください」と思ってます。一行開けも。
カクヨムには自動字下げ機能あるから使うようにしてます。
ここらへんは今のラノベ界隈がラノベではなく「シナリオライター」みたいに採用させることもラノベの立ち位置を変えているんだろうな思います。
生の人間に聞けるならそれが一番早いですよね(笑)
3.評価プロンプトを使って分かった致命的な問題への応援コメント
ジェネレータとは違うんですが、診断メーカーに一時期ハマってた時期があって、好きなアニメキャラとの相性診断みたいやつを日が暮れるまでやってた経験があります笑
ランダムだから運命なんてないのに、なんかやっちゃうんですよね。
定義をしっかりしろっていうのは大学でレポート書くときとかに滅茶苦茶言われることですよね。そもそもこれちゃんとしないと単位落としちゃうから……。
プロ目線とはいうけど、どのプロなのかはっきり書いてない時点でもうアウトだと思います。編集者って言ってもラブコメだったりファンタジーだったり、作品にジャンルがある時点で編集者にも分野があるはずなのに、ここを見落とす人が意外と多い。私はこういう騙し討ちみたいな売り文句があるからAIを信用できないです……。
便利なのはわかるんだ……自分もレポート作る際とかに参考文献を探す手間省くためにAI君使うときもある……でもそれ以上の仕事を任せるにはちょっと信頼できない。
とりあえず日本さんは税金とネットリテラシーの授業を正しい形で義務教育に組み込んでくれ(白目)
作者からの返信
私も診断メーカーやってましたよ。あれもジェネレータの一種です。簡単なおみくじなんかもジェネレーターです。超面白いですよね(笑)
AIはその「もっとランダムがすごいやつ」みたいな立ち位置なのでAIの評価(ほぼ診断)にはまる人が多いのもわからないでもないです。
編集者についてはまさにおっしゃる通りで、そこだけ単独で取り上げる話が次回の更新で出るので読んでもらえたら「それ」となると思います。
日本の義務教育はだめですw 教える側に使えない人多すぎて無理すぎです… (←元教育委員会職員)
1.本当はヤバい「自作小説をAIに評価させるプロンプト」への応援コメント
個人的な意見にはなるんですが、私はAIに作品を評価してもらうことに価値を感じないんですよね。
評価してもらうためにAIに作品のデータを提供することすら抵抗があります。
自分が仕組みをよくわかっていない物に対して軽はずみにあれこれするのって凄く怖いと思っちゃうんですよね。
仕組みを理解すればいい話じゃないかと言われたらその通りかもしれませんが、そんな時間があるなら専門家だったり同業の人に意見を伺う方が早いし、その間に作品バンバン作りながら自問自答繰り返す方が良くない?ってなっちゃう。
あと、今のところはAIの意見よりも自分の意見の方が間違いが少ないと思ってるのもあります笑
作者からの返信
そうですね。使い方によっては時間ばかり食うものでもありますし、そこはそれぞれの向き合い方だと思います。
自分はいいとこどりできれば良いと考えるタイプなのでとりあえず使ってみて、使えそうなら使う、面白ければ使う、だめだと思ったらやり方を変えるという感じ(検証厨)ですが「怖い」という感覚はリスク回避のために合った方がよいと思ってます。
自分の怖いや嫌いをつぶすために使う、というスタンスはただの趣味趣向だから安易におすすめできるものではありません(笑)
3.評価プロンプトを使って分かった致命的な問題への応援コメント
結局制御しているのは人間なので、人間の聞き方がどれだけ解像度が高いか、そういうプロンプトになっているか、で大きくぶれますよね。
昨年いくつかやってみましたが、たしかに整った文章(読者が面白いかは別)、展開に山と谷がそこそこあるだけで結構高評価になる傾向は感じました。
そのあたりがまだまだ調整途中ということを知ったうえで使いこなしてみたいです。
作者からの返信
自分も試しにちょろっと作ってみましたが、本気で作るとAIのくせとか、見えない部分の挙動とかちゃんと知識ないとけっこう難しい感じがします。
調整途中というより自分的にはまともなプロンプト作れる人の方が少ないんだろうなと思います。よくできたぞすごいだろ、って出しちゃう人は間違いにすら気づいていないので…だからこそ危険といいますか。
でもこういう反証的な考察が出れば、作る人も参考になるのではないかなと思います。
私自身は責任取れないのでせいぜいお遊び診断までかなと思うのですが(苦笑)
2.AIは選考者目線で、小説を評価などしないへの応援コメント
そうなんですよ。情報収集をしたり補填するのに、AI
は凄く便利なんですが、流行っている診断系プロンプトはなにか違和感を覚えました。
そもそも、編集者だってレーベルによって求めてるものが違いますからね。Webにあふれる編集者の情報から出された最適解が、自分の目指すレーベル基準とは限らないんですよ。編集業って小説とは限らないわけですし。
まあ、診断されたい気持ちはわかりますけどね。公募に向けて書くのは、本当に孤独なんで。
ちなみに私は「AIの提示したものが現状の最適解であっても、あいつら嘘つくから正しいとは限らない」くらいの付き合いをしてます。笑
作者からの返信
「あいつら嘘つく」は一言一句たがわず私もいつも思ってます(笑)
AI使うときの大前提だと思います。
そして自分の場合は、最適解ですら怪しいので答えを検証するというループに陥ります…
プロンプトへの違和感は、日埜和さんのようにAIを正しく使ってる人じゃないとなかなか感じられないから、鵜呑みにさせる演出なのがほんと危険なんですよね…
日埜和さんがくれたコメント(編集者基準)についてまさにこの先で細かく書かれますのでよろしければまたお付き合いいただけましたら幸いです。ありがとうございます。
質問:作品の長さで評価ブレますか?への応援コメント
実は人工知能に感想もらうのは楽しいだけで
実際のところはあんまり身にならないよ〜な気がします。
人工知能の使い方は難しいのです(ΦωΦ)
こんな感じの感想がくるんだろうなぁの参考にするくらいでいいよーな気がします
作者からの返信
コメントありがとうございます。このお話は啓発も兼ねてますが、それが分かってる人は何も心配いらない気がします。
モチベが欲しいときは褒めてもらうとか、読者さんの代わりに感想もらうとかそういうのは健全な使い方な気がします(笑)
生成AIを本気で使うなら、ツール使うのが好きな人向きな存在だと思います。