第一種の誤り／第二種の誤り
「雑記 3.22-3.28」のフォローのエントリです。
「第一種の誤り／第二種の誤り」についての福岡伸一ハカセの説明を検討してみたいと思います。
統計学は得意ではないので、おかしなところがあったら指摘をお願いします。
まずは、統計学上の「第一種の誤り／第二種の誤り」とは何かを確認しておきましょう。
統計学的仮説検定においては、ある変数間の関連性の存在を主張する仮説を検定するために、まず、元の仮説とは逆の「帰無仮説」、すなわち「変数間に関連性が存在しない」という仮説を設定します。
検定の結果、「帰無仮説」が棄却されれば、変数間の関連性の存在を主張する仮説（対立仮説）が支持されることになります。
「第一種の誤り」とは
帰無仮説が正しいのに、棄却してしまう危険性、逆にいうと、（対立）仮説が支持されないのにも関わらず、支持されるといってしまう確率
「第二種の誤り」とは
帰無仮説が棄却するべきときに、棄却しない確率、逆にいうと、（対立）仮説が支持されるはずなのに、支持されないと結論づけてしまう危険性
というものです。
以上の説明を言い換えてみましょう。
仮説：「変数ＸとＹは関連がある」
帰無仮説：「ＸとＹは関連がない」 すなわち
「（標本で見出された）ＸとＹの関連は偶然のものである」
検証：帰無仮説、すなわち
「ＸとＹの関連は偶然のものである」という仮説を検証する
「帰無仮説を棄却する」とは
「ＸとＹの関連は偶然のものではない」すなわち「ＸとＹは関連がある」と結論すること
「第一種の誤り」とは
実際は「（標本で見出された）ＸとＹの関連は偶然のものである」（すなわち「ＸとＹは関連がない」）のに「ＸとＹは関連がある」と結論すること
「第二種の誤り」とは
実際は「（標本で見出された）ＸとＹの関連は偶然ではない」（すなわち「ＸとＹは関連がある」）のに「ＸとＹは関連がない」と結論すること
さて、以上のようなことを確認したうえで、福岡伸一先生が「第一種の誤り／第二種の誤り」をどのように説明しているかを見てみましょう。
福岡流「第一種の誤り」とは以下のようなものです。
仮説を立ててそれを検証しようとある実験を行うと、多くの場合、いや九五％以上は、期待したような結果にはならない。それは仮説が間違っていたから実験結果がそうならないのだ、つまり、仮説が誤っていたと判断される場合が、実験科学「第一種の誤り」。これはシンプルかつ素直な解釈である。
何だかよく分からない説明です。
上の「仮説」というのが「帰無仮説」のことで、実験結果から判断して帰無仮説を棄却したけれども、実際には帰無仮説の方が正しかった、ということなら、「第一種の誤り」の正しい説明ですが。
では、福岡流「第二種の誤り」の方はどうでしょうか。
ところが、多くの場合、いや九九％以上の科学者は、ああ、そうか、仮説が間違っていたのだとすぐには認めない。むしろ、私の仮説は正しいのだが、実験の方法か適切でないから期待する結果とならないのだ、と考える。つまり、実験のやり方が間違っていると判断されるのが「第二種の誤り」。
どうも私にはこの説明はひどく分かりにくく感じられます。
上の文章では、「誤り」とは「実験のやり方の誤り」である、とも読めますし、「実験のやり方が間違っている、と判断することの誤り」である、とも読めるような気がするのです。
前後の文脈から判断すると、どうやら、福岡ハカセが言っているのは、「仮説の方が誤っていた」というのが「第一種の誤り」であるのに対し、「実験の方が間違っていた」というのが「第二種の誤り」だ、ということのようです。
（実際、『ちくま評論入門』の著者は、「第一種の誤り」は仮説の誤り、「第二種の誤り」 は実験の誤り、と解説しています。）
どちらの解釈を採るにせよ、福岡ハカセの説明はピントが外れています。
「第二種の誤り」は、帰無仮説の棄却（をしないこと）の誤りであって、実験のやり方（あるいは、実験のやり方の適切さの判断）の誤りのことではありません。
さらに、以下のような文章が続きます。
そして問題は、「第一種の誤り」と「第二種の誤り」は、内実は正反対なのに、実験がうまくいかない（期待どおりにならない）という位置からは見分けがつかない、ということである。かくして、不幸なことに、多くの場合、いや九十九．九％以上のケースでは、本当は誤っている仮説に固執して、益のない実験が繰り返されている、というのが科学研究の実態なのである。そして、本当に問題なのは、そこに多大な税金が投入されている、ということである。
どうも福岡ハカセは、（福岡流）「第一種の誤り」は問題ではなく（？）、実際は（福岡流）「第一種の誤り」であるのに（福岡流）「第二種の誤り」であると判断してしまうことが問題だ、と考えているようなのです。
つまり、「本当は仮説に誤りがあるのに、実験のやり方が間違っていると判断すること」が問題だ、と言っているわけです。
統計学の概念の珍解釈と言うべきでしょう。
それとも、福岡ハカセが説明していたのは、統計学上の概念ではなくて、何か別の分野における概念のことだったのでしょうか？
ネットで「第一種の誤り」「第二種の誤り」を検索してみると、見たところ、統計学上の「第一種の誤り／第二種の誤り」ばかりのようです。
統計学以外の分野に「第一種の誤り／第二種の誤り」があったとしても、それはあまり一般的のものではなさそうです。
福岡ハカセの意図したのが統計学以外の分野の説明だとしたら、それはミスリーディングで問題がある説明ではないでしょうか。
それとも、福岡ハカセが説明していたのは、福岡ハカセ独自の概念だったのでしょうか？
一般的に知られている統計学の概念があるのに、何の注釈もなく同じ名前をつけた独自の概念を説明するのは、これもまたミスリーディングであり、乱暴過ぎる行為だと言わざるを得ないでしょう。
福岡ハカセに申し開きの道は残されていないようです。
統計学上の説明以上に問題なのは、福岡ハカセが科学者のあり方について歪めたイメージを作り出してしまっているということです。
ところが、多くの場合、いや九九％以上の科学者は、ああ、そうか、仮説が間違っていたのだとすぐには認めない。むしろ、私の仮説は正しいのだが、実験の方法か適切でないから期待する結果とならないのだ、と考える。つまり、実験のやり方が間違っていると判断されるのが「第二種の誤り」。試薬の濃度が適切でなかったとか、測定器の感度が不良だからとか、はたまた実験動物が風邪をひいていたせいたとか、理由はいくらでもひねり出せる。そこで、科学者は、正しい実験を行おうと考えて、いろいろ条件を変えて実験を繰り返す。「研究」と呼ばれるものが非常なる時間を要するのはそのためなのである。
これは、科学者の無能さや不誠実さを不当に大きく描いているのではないでしょうか。
福岡ハカセの科学者としての自己イメージが上のようなものならば、私は福岡ハカセの科学者としての態度を疑わざるを得ません。
（参考１）
「第一種の誤り／第二種の誤り」が統計学の本でどのように説明されているか、図書館に行って調べてきました。
棄却すべきでないときに帰無仮説を棄却することを,統計学者は第1種の誤りと呼ぶ.
『STATICTICS HACKS』
Bruce Frey 著
オライリー・ジャパン第1種の過誤 type I error
仮説検定において帰無仮説が正しいときに,これを棄却する誤り
『統計科学事典』
B.S,EVERITT 著
朝倉書店
帰無仮説が正しくないとき,帰無仮説を棄却すれば正しい行動であるが,帰無仮説が正しいのに帰無仮説を棄却すれば誤った行動である.この誤りを第1種の過誤（type I error）という.『基本統計学〔第2版〕』
豊田利久, 小川一夫, 谷崎久志, 大谷一博, 長谷川光 著
東洋経済新報社
第1種の過誤〔error of first kind〕
仮説が真のとき,すなわち仮説が採択されねばならぬとき,検定の結果その仮説が棄却されるならばそれは誤りを犯すことになる.この種の誤りは第1種の過誤とよばれており,これは,NeymanとE.S.Pearsonの名前を冠した統計的仮説検定論における基本的概念である.
『ケンドール統計学用語辞典』
Maurice G. kendel & William R. Buckland 著
丸善株式会社
（参考２）
福岡ハカセが翻訳したドーキンスの『虹の解体』には、以下のような記述があります。
ＤＮＡ指紋に関して簡単に述べたように、統計学者は、偽陽性の誤謬（間違った肯定）と偽陰性の誤謬（間違った否定）を区別して扱っている。これは、それぞれ、”タイプ１の誤り”“タイプ２の誤り”とも呼ばれる。タイプ２の誤り、つまり偽陰性は、実際はパターンが存在するのに、それを検出できない場合のことである。タイプ１の誤り、つまり偽陽性は、その逆、すなわち、実際にはランダムな現象以外のなにものでもないのに、何らかのパターンがあると結論づけてしまうことである。
ｐ値とは、タイプ１の誤りを犯してしまう危険性をあらわす確率にほかならない。統計学的判断とは、このニ種類の誤謬のあいだで舵取りをして、いかに真ん中の進路を選び取るか、ということなのだ。
タイプ３の誤謬もあって、ちなみにそれは、タイプ１の誤りとタイプ２の誤りの、どちらがどちらであったかを思い出そうとして、頭が完全に空白になることである。これだけ長いあいだこの用語を使っている私でさえ、調べ直さなければならないときがあるのだから、区別が必要なときには、簡単に覚えられる名前、つまり、偽陽性と偽陰性を使うことにしたい。
『虹の解体』の翻訳が出版されたのは２００１年、福岡ハカセの上の文章が発表されたのは２００５年です。
福岡ハカセ自らが翻訳した文章にちゃんとした説明があるのに、上のようなトンチンカンの説明をしてしまったというのは、実に不思議なことです。
| 固定リンク | コメント (14) | トラックバック (1)
最近のコメント