私たちは人生のある時点で p 値について聞いたことがあります。学校で、または科学論文を読んで、研究者は推測が正しいかどうかを判断するために p 値を使用することがよくあります。 そして、この推測は仮説によって表現されることがよくあります。
仮説とは推測以外の何物でもありません。そして、異議を唱えることで、推測の真実性を検証します。スーパーマーケットで私のカゴに赤と青のリンゴがいっぱい入っていると想像してください。 それらはすべて混ざっています。その 1 つのかごの中に赤いリンゴよりも緑のリンゴが多いかどうか当ててもらいたいです。この推測が正しいかどうかはわかりません (おそらく部屋が暗いか、あなたが色の区別に苦労している可能性があります)。あなたの推測が正しいかどうかを検証する必要があります。
研究者は仮説に異議を唱えるために統計的手法を使用することがよくあります。そして、彼らが注目する値の 1 つは p 値です。p 値は、私たちが見たり実際に行ったりすることが、一定の確率で偶然に起こるかどうかを示します。スーパーマーケットのリンゴの例では、最初の 19 回で青いリンゴを順番に選び、20 回目で赤いリンゴを選んだときに、赤いリンゴを拾ったのは偶然であると言えます。このシナリオでは、最初の 19 回で赤いリンゴが選ばれなかった理由を自問します。かごの中には非常に多くの青リンゴが入っているに違いなく、そのためランダムに選んだリンゴが青リンゴである可能性が高いのです。そして、私たちが赤いリンゴを選んだことは偶然です。
青リンゴと赤リンゴの比率が関係していることに着目してください。そして、私たちが赤いリンゴを選んだことは偶然だったため、私たちの仮説に異議を唱えるため、緑のリンゴの数が赤いリンゴの数よりも明らかに多いことがわかります。かごの中のリンゴの割合がスーパーマーケットのすべてのリンゴの割合を表すと仮定すると、スーパーマーケットには赤いリンゴよりも緑のリンゴがはるかに多いと言えます。
簡単に説明すると、p 値は赤いリンゴを偶然に選ぶ可能性です。また、かごの中に赤いリンゴよりも緑のリンゴがはるかに多い場合、偶然赤いリンゴを選ぶ可能性は非常に低くなります。赤いリンゴを選ぶことが 20 回の選択のうち 1 回だけ発生した場合にのみ、推測が正しいと検証します。20 件中 1 件で 5% になります。
この学派については多くの物議を醸す議論があります。 それにもかかわらず、この短い記事で、p 値とは何か、そしてデータ サイエンスにとって p 値がなぜ重要なのかを理解する手助けとなれば幸いです。データ サイエンティストは p 値を使用して仮説の信憑性を判断しますが、p 値が仮説の有効な測定値であるかどうかを確認するには、データが収集された環境とデータ収集方法を知る必要もあります。場合によっては、環境にはリンゴを選ぶ事に影響を与える可能性のある要因が単に多すぎる場合があります。たとえば、かごの中のリンゴは、マーケットでのリンゴの比率が均衡しているにも関わらず、誰かが意図的に赤いリンゴよりも緑のリンゴを選んだ結果です。p 値は仮説を裏付ける可能性がありますが、スーパーマーケットにあるすべてのリンゴを表すものではありません。
データ サイエンティストは、p 値の誤用を避ける必要があります。 アプローチの 1 つは、他のチーム メンバーと協力して、データが収集される環境と方法を理解することです。このため、データ サイエンティストは決して単独で作業することはできず、チーム メンバーから提供される貴重な情報は、データ サイエンティストが p 値の使用を検証するのに役立ちます。p 値を使用して仮説の信憑性を判断する前に、より注意深く一歩下がった立場から判断する必要があります。
追記
さて、あなたたちの中には私が述べたことに疑問を抱く方がいるかもしれません。同僚の皆様には、私にp 値についてできるだけ簡単な言葉で説明させていただけるようお願いいたします。専門家ではない方にもその重要性を理解してもらえるように努めたいと思います。私は、データによる分布の存在と、歪みが p 値の真実性にどのように影響するかを認識しています。私は、この複雑な統計的説明は 1 対 1 の会話に任せたいと思っています。