A/B/nテスト仮説と目的

A/B/n検定の最初のステップは、明確な仮説を立てることです。この仮説は検定の意図した結果を示し、それを測定するのに役立ちます。例えば、仮説Bは対照バリアントよりも少なくとも20%多くのページビューをもたらすと考えてみましょう。この仮説は2つの可能な結果をもたらします。

• 帰無仮説 - A/B/n検定では、さまざまな変異株と対照変異株の間に有意な差は見られませんでした。
• 代替仮説 - ある変異が対照群より良好な結果を示し、仮説を裏付けます。これがA/B/n検定の望ましい結果です。

各仮説ごとに達成目標を反映するために測定可能な目標を含めることをお勧めします。A/B/nテストの主な目的は、訪問者体験の変化を評価し、特定のビジネス成果を改善することです。

これらの変更をテストし、パフォーマンスを追跡するには、テスト目標を設定する必要があります。

例えば、ページビュー数を増やすことが目標であれば、目標を追跡したいページを指定する必要があります。Sitecoreはこの目標の指標を以下に活用します:

• バリアントを勝者と宣言するか、テストが決定的でないと宣言するための必要な訪問回数を計算してください。
• 各バリアントのパフォーマンスを測定し、統計的有意性が出る前に目標達成に先行しているバリアントを特定しましょう。

テストが24時間続いた後、分析データを閲覧 してバリアントのパフォーマンスを比較できます。これにより、各バリアントの定量的なデータが確認でき、どのバリアントデザインやコンテンツがページビューの増加を生んでいるのかという不確実性を排除できます。

SitecoreがどのようにA/B/nテストの勝者を決定するのかを理解するために、テストの指標や計算 に慣れておくことをお勧めします。