前のエピソード――2. 統計の神格化とそれ以外の証拠の否定

B：この統計では、犬好きは50人、猫好きは51人なので猫のほうが好まれる動物である。

　統計を理解するのに重要な概念が「有意差」である。これはざっくりいうと、その差に偶然の誤差以上の何らかの要因が働いているということを意味する。

　上の例では、犬好きと猫好きの人数差はたった1人である。これでは、偶然差が生まれたのか、それとも本当に猫好きが多いからこの差が生まれたのか判断しにくい。おそらく前者だと思う人が多いだろう。

A：この統計では、犬好きは3名、猫好きは98名である。なので猫のほうが好まれる。

　しかし、この例では差は明白である。犬好きと猫好きの割合が大差ないにもかかわらず、適当に選んだ回答者でこれほどの差が生まれることは極めて稀だと考えられるからである。この例であれば、本当に猫好きが多いのだろうと考えるほうが妥当そうだ。

　詭弁屋は、この有意差を理解していない。なので、とりあえず差があれば何でも意味のある差であると扱おうとする。

　ところで、ではどうやって「ただ偶然で生じた差」と「有意差」を区別すればいいのだろうか。

　これは統計の解説書ではないので詳細は省くが、統計的仮説検定というものを行い、一定の基準をもって有意差があるかどうかを判定する。

　いろいろと議論はあるものの有意差の有無は重要な要素なので、たいていの論文には記載がある。計算の煩雑さから、昔の論文には掲載されていないことも多い。論文を信頼できるかどうかの参考にしてほしい。

　ただし、有意差を理解するうえでいくつか注意点がある。

　1つは、有意差がないことが必ずしも「差がないこと」を意味しないということである。話がややこしいのだが、例えばAとBのスコアの間に有意差がないとき、専門的には「AとBのスコアは同じ」ではなく「AとBのスコアが違うとは言えない」と理解される。本当に差がないかどうかはまた別の検定で確かめるものであり、有意性の検定だけで差がないことを断定的に言うことはできない。

　もう1つは、有意差はサンプルサイズが大きくなると出やすくなるという特徴があるという点だ。つまり、同じ「5人差」でも「10人と15人」ではほぼ非有意になるだろうが、「1万人と1万5人」ではこの間の差は有意になりうる。サンプルサイズが大きいと「偶然生じる差」は小さくなるので、あまり大きくない差でも偶然以外の差であると判断されやすくなる。

　言い換えると、有意差があることは常に「重大な差があること」を意味しない。あくまで「統計的に偶然以上の差がある」ことしか意味しないのである。

　詭弁屋はこの特徴を悪用……というよりは単に無知から、誤ったことを主張することもある。有意差があることを錦の御旗に、自説が全面的に正しいかのように振る舞うのである。

　そのような事例は、次節で扱う。