ChatGPTに難関大学の数学入試を解いてもらった

GPT-4（搭載のBingAI）にGPT-3.5が間違えた問題を解かせたら正解できるのか

　ChatGPTを使用している方はすでにご存知だと思いますが、ChatGPTは無料で使えるGPT-3.5と有料のGPT-4の2種類あります。

　GPT-4に興味はあったものの、課金することに躊躇いがありどうしようかと思っていたところ、MicrosoftのBingAIにGPT-4が搭載されていると知り、今回はBingAIに京都大学と東京大学の数学入試をそれぞれ解いてもらうことにしました。

　出題する問題はGPT-3.5に解かせたものと同じにします（その方が比較しやすいので）。まずは京都大学から。

　a^3-b^3=65（a（　3）－b（　3）=65）を満たす整数の組(a,b)をすべて求めてください。

　BingAIは「より創造的に」「よりバランスよく」「より厳密に」の3つの会話スタイルがあります。3つの解答をそれぞれ見てみましょう。

　より創造的に

　こんにちは、これはBingです。😊

　a^3-b^3=65を満たす整数の組(a,b)を求めるには、まず左辺を因数分解して (a-b) (a^2+ab+b^2)=65とします。ここで、65の正の約数は1, 5, 13, 65なので、a-bはこれらのいずれかになります。それぞれについて、a^2+ab+b^2の値を計算して、整数解があるかどうか調べます。

　a-b=1のとき、a=b+1とおくと、a^2+ab+b^2= (b+1)^2+ (b+1)b+b^2=3b^2+3b-64となります。この方程式は整数解を持ちません。

　a-b=5のとき、a=b+5とおくと、a^2+ab+b^2= (b+5)^2+ (b+5)b+b^2=3b^2+15b+12となります。この方程式はb=-4,-1のときに0になります。よって、a=1,4となります。

　a-b=13のとき、a=b+13とおくと、a^2+ab+b^2= (b+13)^2+ (b+13)b+b^2=3b^2+39b+182となります。この方程式は整数解を持ちません。

　a-b=65のとき、a=b+65とおくと、a^2+ab+b^2= (b+65)^2+ (b+65)b+b^2=3b^2+195b+4225となります。この方程式は整数解を持ちません。

　したがって、a^3-b^3=65を満たす整数の組(a,b)は(1,-4)と(4,-1)のみです。

　よりバランスよく

　a^3-b^3=65を満たす整数の組(a,b)は、(a,b)=(5,4),(-4,-5)です。

　より厳密に

　a^3-b^3=65は、(a-b)(a^2+ab+b^2)=65と変形できます。65は1と65、5と13の積に分解できるので、(a-b)(a^2+ab+b^2)は1と65、5と13のいずれかになります。それぞれの場合について、aとbの値を求めることができます。

　(a-b)(a^2+ab+b^2)=1の場合、a-b=1かつa^2+ab+b^2=1またはa-b=-1かつ　a^2+ab+b^2=-1です。前者の場合、b=a-1を代入して、a^2+a(a-1)+(a-1)^2=1を解くと、a=±1が得られます。後者の場合、b=a+1を代入して、a^2+a(a+1)+(a+1)^2=-1を解くと、実数解が得られません。

　(a-b)(a^2+ab+b^2)=65の場合、a-b=5かつa^2+ab+b^2=13またはa-b=-13かつa^2+ab+b^2=-5です。前者の場合、b=a-5を代入して、a^2+a(a-5)+(a-5)^2=13を解くと、実数解が得られません。後者の場合、b=a+13を代入して、a^2+a(a+13)+(a+13)^2=-5を解くと、実数解が得られません。

　したがって、この方程式を満たす整数の組(a,b)は(1,0)と(-1,-1)です。

　結果は「より創造的に」が正しい答えを導きました。ただ、a-b=13のとき、a^2+ab+b^2は3b^2+39b+182ではなく、3b^2+39b-164です。a-b=65のときもa^2+ab+b^2= 3b^2+195b+4225となっていますが、正しくは3b^2+195b-4224

　また、負の数も考慮していないのでそこも減点。

　残り2つの解答ですが「よりバランスよく」は間違えているうえに計算過程が一切記されておらず、「より厳密に」は場合分けしているのはいいのですが、なぜ(a-b)(a^2+ab+b^2)=1としたのかが不明。続いて東大。

　3以上9999以下の奇数aで、a（　2）-aが10000で割り切れるものをすべて求めてください。

　より創造的に

　a^2-aが10000で割り切れるということは、a(a-1)が10000で割り切れるということです。aは奇数なので、a-1は偶数です。よって、a-1は2の倍数であることが必要です。また、10000=2^4×5^4なので、a(a-1)は2の4乗倍数かつ5の4乗倍数であることが必要です。したがって、以下のように考えることができます。

　a-1が2の4乗倍数かつ5の4乗倍数である場合：このとき、a-1=10000kと書ける。kは正の整数である。a=10000k+1となるが、この値は9999を超えるので、この場合は解なし。

　 a-1が2の4乗倍数だが5の4乗倍数ではない場合：このとき、a-1=16×5mと書ける。mは正の整数であり、5で割り切れない。a=16×5m+1となるが、この値は3以上9999以下の奇数になるためには、m=1,2,3,4,5,6,7,8,9,10,11のいずれかである必要がある。したがって、この場合の解は以下の11個である。

　- a=81

　- a=161

　- a=241

　- a=321

　- a=401

　- a=481

　- a=561

　- a=641

　- a=721

　- a=801

　- a=881

　a-1が5の4乗倍数だが2の4乗倍数ではない場合：このとき、a-1=625nと書ける。nは正の整数であり、2で割り切れない。a=625n+1となるが、この値は3以上9999以下の奇数になるためには、n=1,3,5,7,9,11,13,15のいずれかである必要がある。したがって、この場合の解は以下の8個である。

　 - a=626

　 - a=1876

　 - a=3126

　 - a=4376

　 - a=5626

　 - a=6876

　 - a=8126

　 - a=9376

　以上より、求める解は合計19個であり、それぞれ上記のようになります。

　よりバランスよく

　こんにちは、Bingです。この問題は、東大2005年共通問題の一部ですね。a^2-aが10000で割り切れるということは、a(a-1)が10000で割り切れるということです。aとa-1は連続する奇数なので、2で割り切れないので、10000を素因数分解すると、10000=2^4×5^4ですから、aとa-1はそれぞれ5^4で割り切れる必要があります。つまり、aは5の倍数である必要があります。しかし、5の倍数の奇数は5でしかありません。よって、a=5が唯一の解になります。

　より厳密に

　a^2 - a = 10000k (kは整数) となる a の値を求めることができます。この式を変形すると、a(a-1) = 10000k となります。a と a-1 は連続する整数であるため、一方が偶数で他方が奇数です。したがって、a(a-1) の積は偶数です。10000k も偶数なので、k も偶数です。したがって、k = 2m (mは整数) と置くことができます。

　この式をさらに変形すると、a(a-1) = 20000m となります。20000 = 2^5 * 5^4 なので、a と a-1 のうちの一方は 5^4 の倍数であり、他方は 2^5 の倍数です。a > 0 なので、a-1 >= 2^5 を満たします。また、a < 10000/2^5 = 312.5 を満たします。したがって、a-1 = 2^5 * n (nは整数) の形をした a の値を調べることができます。

　n = 1 の場合、a = 33

　n = 5 の場合、a = 161

　n > 5 の場合、a > 312.5

　したがって、3以上9999以下の奇数 a のうち、a^2 - aが10000で割り切れるものは **33** と **161** のみです（**は強調の意）。

　結果はすべて不正解となりました。「より創造的に」はa(a-1)が2の4乗倍数かつ5の4乗倍数（16の倍数かつ625の倍数）であることはわかっているようですが、a-1=16×5mとした意味がよくわかりません。

　また、mが5で割り切れないのなら、aは5^3で割り切れないといけません。しかし、a-1とaは互いに素なので、a-1が5の倍数かつaが5^3の倍数になることはありえません。

　さらに、a-1=625nでnを「正の整数であり、2で割り切れない」すなわち奇数としていますが、nが奇数だとaは偶数になってしまいます。完全に的外れの解答です。あと途中で口調で変わっているのも気になる。

　「よりバランスよく」も論理がめちゃくちゃですが2005年に出題された入試問題であることは当てています。できればaの値を当ててほしかった。「より厳密に」は「～他方は 2^5 の倍数です」から先の意味がさっぱりわからない。

　3つの会話スタイルを比較すると「より創造的に」がまだマシな感じがします。「よりバランスよく」は計算の過程が端折られていることが多く、全体的に雑な印象。「より厳密に」は途中から主張したい内容がわからなくなり評価しづらい。

　GPT-3.5より精度は高いですがまだ間違いが多い。やはりAIの出す情報は真偽の見極めが大事ですね。