« 2011年4月 | トップページ | 2011年6月 »

2011年5月

type III error

先日の研究会で type III error にふれたので補記。

type I error と type II error 以外に第三、第四の error を付け加えようとする試みは色々ある。
結構多様なので、文献で一口に type III error と言っても同じものを指しているとは限らない。

研究会でふれたのは、次のエラーである:

 両側検定で帰無仮説を正しく棄却した後で、効果の方向を誤って推論する

例えば、仮に μ1 < μ2 が正しいとして、両側 t 検定で 帰無仮説 μ1 = μ2 を(正しく)棄却した後に、2標本の平均値の大きさを比べて、 μ1 > μ2 と結論してしまう、というケース。
(実際に、研究現場では、この推論手順は頻繁に行われている。)

文献で type III error と呼ばれている様々なエラーたちは、もはや統計学の範囲ではないものも多いが、こいつはまだ統計学的に扱える。

では、このエラーの起こる確率はどれくらいだろうか? シミュレーションしてみる。

replicate(10000, {
  y1 <- rnorm(10, m=0)
  y2 <- rnorm(10, m=0.2)
  c(mean(y1), mean(y2), t.test(y1, y2)$p.value)
}) -> r
sum(r[3,] < 0.05)
sum(r[1,] > r[2,])
sum(r[3,] < 0.05 & r[1,] > r[2,])
sum(r[3,] < 0.05 & r[1,] > r[2,]) / sum(r[3,] < 0.05)

棄却したときという条件で、だいたい 10% 前後か。どやさ!10回に1回もまちがう!

しかし上の状況はパワーがかなり小さいことに注意。
サンプルサイズやイフェクトサイズを大きくすると、このエラーの確率は非常に小さくなる。
αは増やしても無駄である。

両側検定で対立仮説 μ1 ≠ μ2 を主張してそれで満足、という研究はまず無いだろう。ふつうは効果の方向は主張する。(もっといかした研究なら効果の大きさも主張する。)
しかし両側検定を使うと、このように、α、β以外にも気にすべきことが。

| | コメント (0) | トラックバック (0)

« 2011年4月 | トップページ | 2011年6月 »