統計ソフトで，小標本でのノンパラメトリックな検定をしたときには注意が必要

2002.01.15より
2007.12.17最終修正

症状

有意確率（Ｐ値）がまちがっていることがある。

原因

　ノンパラメトリックな検定の有意確率は，それぞれの検定の検定統計量 （Mann-WhitneyのＵとかWilcoxon符号化順位検定のＷあるいはＴとか）と標本数（サ ンプルサイズ）から計算される。具体的な計算は、ランダマイゼーション検定（ならべかえ検定）を全部一通りやる（systematic permutation）のと同じであり、以前だと計算機の能力からしてやっかいなものだった。そこで，普通は表が統計の 本の巻末に付いている（Sokal&RohlfのBiometryだと別冊）。

　しかし，サンプルサイズがある程度大きくなると，表を準備するのは無理にな る。そこでサンプルサイズがある程度大きいときには，パラメトリックな量（正規分布から計算されるもの，たとえばｚとかカイ２乗とかｔとかＦとか）に近い値をとるような別の検定統計量を計算して，これをパラメトリックな量と比べている。ｚの場合には、（検定統計量のサンプルでの実測値−帰無仮説の場合の検定統計量の期待値）／（分散の平方根）を標準正規分布と比べているの。このやり方は，あくまで近似であり，大標本なら誤差はわずかなのでそうしているわけであ る。前者の本来の有意確率計算に対して，大標本で使われているこのような近似的な 有意確率の計算を”漸近的”であるという（”漸近的”に対して前者の方を”exact ”と言うことがよくある）。

　かなりの統計ソフトでは，小標本でも”漸近的”に計算している。しかも”漸 近的”に計算していることはユ−ザ−には知らされない。そのため，小標本では誤差が大きくなり，有意確率の値として誤ったものが出力されることがある。Anim.Behav.にも警告 （56：256-259）が載っている。

対策

　小標本のときは統計の本を引っ張り出して表を使う。だいたいｎ＞20なら大標本 としていいのだが（Mann-Whitneyならｎ＝４と１０を両方越えていれば問題ないとさ れている），迷ったときには統計の本を引っ張り出して表を使えば問題がない。表に載っていないくらい大きな標本数ならもちろん大標本である。

　あるいは大標本の近似ではない、exactな方法により有意確率を求める（計算力の増大により、パソコンでできることが増えてきた）。