ウェブ実験における普遍割り当て法の使用

ゲスト割り当てに使うバケット

ユニバーサル割り当て法の核心は、ゲストを実験のバリアントに割り当てるための バケット の使用です。Sitecore Personalizeでは、バケット は1から120までの数字で、ゲストの固有のゲスト参照を使ってランダムに関連付けられます。ユニバーサル割り当て法では、このバケット番号はすべての実験でゲストに対して同じままです。

この方法を使う際は、実験に入るゲストのバケット範囲を定義して トラフィック割り当て を設定する必要があります。120個すべてのバケットを選択するとウェブサイトトラフィックの100%が含まれる一方、バケット1から60のように狭い範囲では、その範囲内のゲストのみが実験に参加できます。以下の図はこの概念を示しており、紫色のバケットは実験に含まれるゲスト(バケット1から60)、透明なバケットは含まれていないゲスト(バケット61から120)を表しています。

バケット範囲が割り当てられた後、バリアント間で トラフィックを割り当て ることができます。これにより、実験に参加したゲストのうち、一定のゲストがランダムにコントロールに割り当てられ、残りは他のバリアントに割り当てられます。例えば、ヘッドラインの効果をテストする実験では、バケット1から40のゲストは現在のヘッドライン(コントロール)を、バケット41から60のゲストは短く感情的な見出しのバージョン(バリアント1)を目にします。下の画像は、コントロールに割り当てられたバケットとバリアントに割り当てられたバケットを示しています。

以下のセクションでは、ユニバーサル割り当て法を用いて同時実験を行う2つの異なるシナリオについて説明します。

相互排他的実験の実施

最初のシナリオでは、ウェブサイトが相互排他的の3つの実験、A、B、Cをそれぞれユニバーサル割り当て法で実行しています。以下の図に示すように、これらの実験は重なりのないバケット範囲を交通割り当てに用い、実験同士を隔離しています。実験Aは交通割り当て用に1から30のバケットを持ち、実験Bは31から80のバケット、実験Cは81から120のバケットを持っています。各実験にはコントロールとバリアントの2つのバリアントがあります。割り当てられたトラフィックはそれぞれのバリアントに異なるバケットを用いて割り当てられます。例えば、実験Aではコントロールが1から15のバケット、バリアントが16から30のバケットに割り当てられます。

ユニバーサル割り当て法では、ウェブサイトを訪れる適格なゲストにランダムにバケット番号(例えば65)が割り当てられ、これはすべての実験で同じままです。その結果、同じゲストは実験AとCの両方から除外され、実験Bのバリアントに割り当てられます。ユニバーサル割り当て方式は、ゲストが3つの実験すべてで同じバケット番号を使用することを保証します。これにより、ゲストが異なる実験で1つのバリアントだけに曝露される、相互排他的実験を行うことが可能になります。

並列実験の実施

次のシナリオでは、ウェブサイトがユニバーサル割り当て法を用いてA、B、Cの3つの並行実験を実施します。以下の図に示すように、これらの実験は同じバケット範囲でトラフィックを割り当て、同じゲストオーディエンスで実行されます。すべての実験は割り当てに1から120までのバケットを使用し、これはウェブサイトトラフィックの100%を表します。各実験にはコントロールとバリアントの2つのバリアントがあります。割り当てられたトラフィックはバリアント間で均等に分布し、コントロールは常にバケット1から60、バリアントは61から120に割り当てられます。

ユニバーサル割り当て方式では、ウェブサイトを訪れる適格なゲストに65などのバケット番号がランダムに割り当てられ、すべての実験で同じ番号が保たれます。その結果、同じゲストが3つの実験すべてに参加し、それぞれの実験で常に同じバリアントに割り当てられます。ユニバーサル割り当て方式は、ゲストがすべての実験で一貫して同じバリアントにマッピングされることを保証します。これにより、ユーザージャーニーで意図的にリンクされたバリアント、例えば複数ページにわたるテストに対してテストを同期させることが可能になります。

例

ユニバーサル割り当て法がニュースレター登録のテストとブラックフライデーのコンバージョンテストの2つの実験でどのように機能するかの例を見てみましょう。

最初の実験には3つのバリアントがあります

以下の表は、各実験におけるバリアントの概要を示し、2人のゲストがどのように割り当てられるかを示しています。