GeminiAdvancedがやってきた

2024/2/9 Gemini対ChatGPT Plus

これまでまったくGoogleCloudには一切課金していなかったのだが、2ヵ月の試用期間でGeminiAdvancedを利用可能との事なので、暇つぶしがてらすでに利用しているChatGPT Plusとの比較検証を行なってみることにした。

　なお、これは素人が趣味がてらにやってる内容で極めて主観的であり、正確性・再現性は一切保証しない。

正確性：

　ChatGPT: 生成内容はかなり正確で、情報のハルシネーション（誤情報の生成）が少ない。

　Gemini: 検索能力がありソースを表示するものの、生成される内容に誤情報が多い。検索してくるURLのソースはともかく、生成される本文はほぼ完全に架空と言ってもいい。

テキスト読み込み

　ChatGPT: 1～2万字程度のテキスト読み込みが可能で、本文直貼り、テキストファイルのアップロード、URLからの読み込みが行える。

　Gemini: URLからの読み込みのみ可能で、読み込める文字数がChatGPTに比べて少ない。

画像認識

　ChatGPT: 「何が映っているか」に加えて、画像の内容を正確に認識できる。

　Gemini: 「何が映っているか」程度の認識はするが、細かいディテールの認識に誤りがある。

テキストの要約

　ChatGPT: 1～2万字程度のテキストを要約、結果を生成できる。

　Gemini: 「学習中のAIであり機能がないため、生成できない」と回答。

ファイル生成

　ChatGPT: 画像やOffice系ファイルの生成が可能。

　Gemini: Googleスプレッドシートでの出力は可能だが、GoogleCloudのオプションだから特定のプラットフォームに依存する。

Web検索

　ChatGPT: 指示がなければ基本的にはWeb検索を行わない。一例として「～の画像を探して」と言っているのに画像生成してしまった。

　Gemini: デフォルトでWeb検索が可能であり、たとえば「～の画像を探して」と言うだけでWeb上の画像を複数検索してくる。また回答時にはソースとしてURLも回答、Youtubeなども検索してくる。

エロコンテンツ

　ChatGPT: ポリシー上の理由で生成を拒否。

　Gemini: 明確な拒否ではなく、「学習中のAIであり機能がないため、生成できない」と回答。

小説の生成

　ChatGPT: 文字数上限に達しても続きの生成が可能。

　Gemini: 文字数上限に達すると途中で終わってしまうため、続きを促すプロンプトを追加してゆく必要がある（ここら辺は昔のChatGPTと同じ）。

言語

　ChatGPT: 英語ベースなのか、英文を和訳したようなぎこちなさがある。

　Gemini: より自然でこなれた表現で出力しているような印象がある。「40 言語に対応していることが強み」とされるが、この点は嘘ではないかもしれない。

コーディング

　ChatGPT & Gemini: 両者ともVBA、Python、PowerShell、コマンドプロンプトで「HelloWorld」を表示可能なコマンドを生成した。他の言語に関しては検証して無いのでわからないが、細かいところで差異があるのかもしれない。

ブログ記事の生成

　ChatGPT: 英語の記事を生成可能。

　Gemini: 「学習中のAIであり機能がないため、生成できない」と回答。

総括：

　Geminiはリリースしたばかりでユーザーのフィードバックを受けていないこともあり今後いくらか改善されると思われるが、スペック上はともかく単純な生成AIとしての使用感において現時点ではChatGPTの方が圧勝している。まあ、わたしの使い方は恐らくGoogleが想定しているようなまともなAIの使い方では無いので、GoogleCloudのアプリと連携させると上手い具合になるのかもしれない。

　GeminiはWeb検索大手のGoogle謹製だけあって、デフォルトで検索機能があるのが強み……と言いたいところだが、これくらいだったら別にbing Copilotでも出来るよね。bing Copilotで思い出したけど、ChatGPTをベースにしているbing CopilotもURLをソースとして掲示してくるがハルシネーションが多いので、bing Copilotとの比較検証はいずれやってみたいところ。

　……Gemini、正直期待値が大きすぎてガッカリしたのもあって、試用期間の2ヵ月待たずに今すぐ解約してやりたいくらいなんだけど、アーリーユーザーのフィードバックが反映されるであろう来月・再来月にも検証かなあ……。