実験の信頼度の調整

実験の信頼度は、組織の実験結果の正確性に対するリスク許容度に応じて、高めたり下げたりすることができます。

信頼水準は帰無仮説を棄却する閾値です。サンプルサイズ計算に関しては、帰無仮説が真であり、測定された差がランダムな変動によるものではないという信頼度です。信頼レベルを下げると、統計的有意性に達するために必要な最小サンプルサイズが減少します。

これはトレードオフであり、結論に誤りが入りやすい一方で、テストが決定的になるまでの時間は短縮されます。

あるいは、信頼水準を上げると、統計的有意性に達するために必要な最小サンプルサイズが増加します。これは、より正確な結果を確実にしたい場合のみ、その代わりに検定が決定的な結論に達するまでの時間を長くすることを意味します。