検出力(検定力)の勉強をする時に、初めに知っておきたい事!

検定力の勉強をしているときに、こんなイメージで理解しておくと分かりやすいかもと思ったので、メモ的にまとめておきます。以下、単純化のために分散既知の母平均の片側検定を行うとして書きます。実際は、検定の種類によって検出力及び効果量の算定方式が異なりますが、根本的なアイデアは同じです。

モチベーション

検定力(検出力)周辺の概念を抑える事で、普段の仮説検定の質をより高める事ができると思っておけば良い
帰無仮説を採択する場合(棄却できなかった場合)は、ただ棄却できませんでした！ではなくて、"少なくとも○○以上の差は無いようです!"と、範囲を示すことができる
対立仮説を採択する場合(棄却できた場合)は、ただ棄却できました！ではなくて、"〇〇以上の差はあります!"と、影響度の幅を示すことができる

小難しそうな様相をしているが、ツールボックスとして使えるようにしておくと、役に立つ概念だと思う。ビジネスの現場では、ROIを検討する場面が多く、検出力の概念を考慮する事により合理的な意思決定に貢献できる場面がありそう。

検定力について知っておきたい事柄

学習するときにこのイメージを持っておくと、諸々スムーズに行きそうです！

1.仮説検定はサンプルサイズを増やすと、どんな仮説でもカンタンに棄却できてしまう

母平均を $μ$ 、母分散(既知とする)を $σ^{2}$ 、標本平均を $\overline{X}$ 、サンプル数を $N$ とおくと、母平均の検定で用いる統計量 $z$ は以下の式で表すことができる。

$z = \frac{\overline{x} - μ_0}{\sqrt\frac{σ^{2}}{N}}$

この式の分母に注目し、Nを $∞$ にした時、つまりサンプル数を数えきれないほど大量に集めた場合を考えてみる。この時分母は0に収束するので、 $z$ 全体は非常に大きい値に落ち着く。そして、統計量zの値が大きくなると、棄却域に達し棄却されることになる。ここで、問題なのは観測した標本平均の $\overline{X}$ 値に関係なく、仮説が棄却されてしまう事。

現象を理解するために、わざわざ検定を行っているのに、現象と全く関係のないサンプルサイズの大きさという要因で、検定結果が決まってしまう。これではまずい。

2. 検定力は、【ある特定の】対立仮説に対する議論

検定力というワードが出て来た時点で、ある特定の対立仮説を想定している事をイメージしておく。母平均の検定の例で言えば、対立仮説は $μ = 34$ 、 $μ = 42$ など、具体的な値が入った上で、それぞれの対立仮説にたいする検出力の議論が成り立つ。関数の形で書くと、　検出力 = $f( μ = 42の対立仮説)$ といった雰囲気。

という訳で、現在行っている仮説検定一般に対する検定力というものは存在せず、ある特定の対立仮説に対して定義される量である事を意識する。

3. 有意水準は"帰無仮説の元で仮説を棄却する確率"、検定力は"ある特定の対立仮説の元で仮説を棄却する確率"

例えば、とある帰無仮説を棄却できたとする。この時もし本当は対立仮説(例えば、 $μ = 30$ )が正しかったとしたら、その対立仮説が成立している世界の元で帰無仮説を棄却できる確率はどれくらいだろう?←この確率が検定力の正体です。検定力という言葉を、確率に無理やり頭の中で変換するのがポイントだと思います。

そして、1-検定力は、第二種過誤と定義されます。先に、第二種過誤から入って、1-第二種過誤 = 検定力とするテキストもありますが、理解しやすい方で覚えておけば良いかと思います。上記の例、仮に $μ = 30$ の検定力が0.80だったとしましょう。逆に言うと、0.20(20%)の確率で、帰無仮説を棄却できません。←本当は対立仮説を採択すべき場面で正しく採択できない事を意味するので第二種過誤と言われます。

↓具体的なケースで考えてみると以下のイメージです。

①帰無仮説を棄却できず、 $μ = 30$ の検定力が十分に高いとき

$μ = 30$ の世界だと高い確率で棄却できるのにも関らわず棄却できなかった ---> 少なくとも、 $μ = 30$ に対する差分よりも大きな差は無いだろう。

②帰無仮説を棄却できず、 $μ = 30$ の検定力が低いとき

$μ = 30$ の世界でも棄却できない可能性が高い ---> $μ = 30$ に対して、確かな情報は得られない。

③帰無仮説を棄却、 $μ = 30$ の検定力が十分に高いとき

$μ = 30$ の世界だと高い確率で棄却できる&帰無仮説が棄却できた ---> $μ = 30$ の元でも棄却される確率が高いので、この程度の差分は存在しているだろう。

④帰無仮説を棄却、 $μ = 30$ の検定力が低いとき

$μ = 30$ の世界だと棄却できない可能性が高いのに帰無仮説が棄却できた ---> 検出力が足りていないので、 $μ = 30$ の対立仮説が成り立っているかどうかは不明慮

-->もし、 $μ = 30$ の対立仮説を評価したいならば、十分な検定力を獲得できるまでに、サンプルサイズ数を増やす必要がある。

途中で、差分というワードが出てきましたが、実際は効果量という単位で表します。"どれくらいの差があるか?"は検定毎に単位が異なりますし、母集団の分散によっても評価が異なるので、離れ具合を定義する指標として効果量があるというイメージです。

4. "ある特定の対立仮説の元で仮説を棄却する確率"を計算する橋渡しは、観測値

以下、抽象的ですが、記載しておきます。帰無仮説の元で、統計量 $z$ が棄却される可能性というのは、標準正規分布の棄却域を例えば以下のような不等式で表されます。 $1.96 > z = \frac{\overline{x} - μ_0}{\sqrt\frac{σ^{2}}{N}}$

観測値 $\overline{x}$ を未知数として展開していくと、 $\overline{x}$ < 25などの式に書き直すことができます。つまり、"観測値が○○以下だったら帰無仮説を棄却しますよ~!”という範囲です。 ↑は式変形をしているだけなので、観測値が○○以下になる = 帰無仮説を棄却するという関係になっていることに注意してください。