テスト指標と計算
このページの翻訳はAIによって自動的に行われました。可能な限り正確な翻訳を心掛けていますが、原文と異なる表現や解釈が含まれる場合があります。正確で公式な情報については、必ず英語の原文をご参照ください。
A/B/n検定を行う際には、十分なデータを集め正確な結論を出すために十分な時間検査を行うことが重要です。そのためには統計的有意性を達成し、検定で求められる最小サンプルサイズを満たす必要があります。これらの要素が信頼と十分な証拠を提供し、対照群と変異株の観察差が偶然によるものではないという証拠となります。
統計的有意性
統計的有意性とは、A/B/n検定の結果が偶然によるものではない可能性であり、バリアント間の差異が有効か単なるランダムな変動かを判断します。Sitecoreは、A/B/n検定で示される改善がバリアントの実際の変更によるものであることを保証します。勝つバリアントが宣言されていない場合、それは検定が統計的有意性に達していないためかもしれません。
統計的有意性の一般的な基準は95%です。つまり、結果が正確であり、単なる運や偶然によるものではないと95%の確信を持つことができます。同じ条件で100回繰り返したら、同じ結果が95回出ることを期待します。
最小サンプルサイズ
十分なサンプルサイズがあれば、A/B/n検定から信頼できる統計的結論が得られます。検定はこの最小標本サイズに達して統計的有意性を達成する必要があります。
Sitecoreはテストの 目標に基づいて自動的に必要な最小サンプルサイズを計算します。この訪問数の閾値が満たされなければ、結果がランダム要因によるものでなかったとは限りません。以下のパラメータを調整することで 最小サンプルサイズを編集 できます:
- 基準率 - 対照バリアントの現在のコンバージョン率。この率はテストを実行する前に正確には分かっていません。指針として、過去のマーケティングキャンペーンやA/B/nテストのベースラインコンバージョン率を参照するのがベストプラクティスです。デフォルトではこの率は2%に設定されています。ベースレートを増やすと、必要な最小サンプルサイズが減少します。
- 検出可能な最小差 - テストで検出したい基準値からの最小の変化やリフト。デフォルト値は20%ですが、テスト感度を変えるために調整できます。この値を上げると、必要な最小サンプルサイズが減少します。これにより、テストの感度が低下し、より劇的な結果しか示されません。
- 信頼レベル - 変異株間の差異が統計的に有意であることを確認するために必要な確実性の量。95%の信頼水準は統計的有意性を達成するための受け入れられた標準です。信頼レベルを上げると、必要な最小サンプルサイズが増加します。より正確な検査結果が必要で、検査結果が決定的なものになるまでの時間を延長する覚悟がある場合のみこの方法を行ってください。
以下の画像では、Sitecoreがデフォルトのパラメータ値を用いて各バリアントあたり21,110回の訪問を算出しています。
!重要必要な最小サンプル数に達する前にテストを中止しないでください。そうするとテスト結果が無効になります。
勝者の宣言
Sitecoreは、A/B/nテストの 目標 に基づいて指標を用いて勝者を決定します。この目標を定義することで、Sitecoreは分析を自動化し、最も性能の良いバリアントを特定できます。
Sitecoreが勝者と宣言するには、最小サンプルサイズ、検出可能な差、信頼度の基準を満たす必要があります。最小サンプルサイズに達しても他の基準を満たしていない場合、Sitecoreはそのテストを決定的でないとみなし、変異間に有意な差がないとみなします。
勝者は、3つの基準すべてを満たした場合にのみ宣言されます。勝利バリアントは、対照バリアントよりも最も高いアップリフトを持つバリアントです。複数のバリアントがテストされた場合、Sitecoreは最もアップリフトが大きいバリアントを勝者と宣言します。