推奨される分割テストプロセス

理想的には、検定仮説を定義することが、実験を実行するための最初のステップです。強力な仮説は、結果の統計的有意性を解釈することと同じくらい重要です。

仮説を作成するには、次の質問に答えることから始めます。

分析から始めて、パフォーマンスの低いページやコンバージョンファネルを特定できます。これにより、仮説を構築するためのいくつかの要素につながります。実験を実行して得られる結果が仮説を証明しない可能性があることに注意する必要があります。

ウィジェットのバリエーションの場合、仮説の変数は、コンテキストルール、設定、またはコンテンツ戦略です。変数を変更、追加、または削除すると、ウィジェットのバリエーションによって異なる予測結果が生成されます。

結果の分析に役立てるために、分割検定では1つの変数を分離するか、多変量検定では少数の変数を選択してください。テストに含める変数が多いほど、新しいKPIを1つの変更と関連付けることが難しくなります。

以下に、いくつかの典型的な変数を示します。

仮説の場合、結果が予測された結果です。これは、ホームページのコンバージョン、特定のキーワードの検索結果のクリック数、ダウンロード数、クリックスルー率、またはその他のKPIや指標の増加である可能性があります。

予測結果は、利用可能な現在のパフォーマンス データに基づいています。結果を比較するさまざまなメトリックまたはメトリックのベースラインを確立してください。また、変数の変更によって増分効果または大規模な効果が予想される場合にも注意してください。

たとえば、直帰率を低くしてコンバージョン数が多いかどうかをテストします。また、コンバージョン率の予測された増加を考慮して、直帰率のどの程度の減少または増加が許容できるかをテスト前に確立する必要があります。

テスト仮説を定義した後、スプリット・テストを作成する前に、テスト対象のウィジェットに、テスト・シナリオ (つまり、ベースラインおよび変更されたケース) を反映するウィジェット・バリエーションを追加する必要があります。

スプリット テストでは、トラフィックが各テスト シナリオに分割され、パフォーマンス データが収集されます。

Searchでは、テストが終了すると、別のバリエーションがスケジュールされない限り、ウィジェットのデフォルトのバリエーションはActive状態に戻ります。

スプリットテストを作成する具体的な手順については、ブースト戦略のテストをご覧ください。