Sitecore Personalizeにおける実験の導入

実験の種類

以下のような実験を作成できます:

• Web実験 - マーケターがフォームを表示するウェブテンプレートを使って動的なオファーやコンテンツを作成できるようにします。開発者はHTML、CSS、JavaScriptを用いて動的なデータを用いたウェブ実験も作成できます。ウェブ実験はウェブ上で実行することも、ウェブベースのアプリケーションに展開することも可能です。
• インタラクティブ実験 - 開発者がバックエンドシステムから動的なオファーやコンテンツを作成し、サーバーサイドのパーソナライズを最大限に実現できるようにします。インタラクティブ実験はウェブ上で実行することも、ウェブベースのアプリケーションに展開することも可能です。
• トリガー実験 - FreeMarkerに詳しいマーケターが動的なオファーやコンテンツを作成し、メールサービスプロバイダー(ESP)やSMS/プッシュサービスプロバイダーに送信して配布できるようにします。

統計エンジン

Sitecore Personalize実験を実行するための2つの統計エンジンを提供しています。 ClassicとOptimizedのどちらかを選択できます。明確な仮説がある場合はデフォルトのClassicを使い、統計的有意性に達するまで限られた数のバリアントをA/B/nで検証することを目指してください。ウェブやインタラクティブな実験でより速い結果を得るために、最適化 テストを活用してマルチアームバンディットアルゴリズムを活用してください。このオプションは自動的に100%のトラフィックを実験に割り当て、ゲストを最もパフォーマンスの高いバリアントに動的に割り当てます。

テストの考慮事項

実験設計時には、ボタンの色やサイズ、背景画像など複数のバリアントや要素を同時にテストしたくなるかもしれません。しかし、同時に多くの組み合わせをテストすると複雑さが増し、統計的有意性を達成するまでの時間が長くなります。

主な考慮事項:

• 実験を管理しやすく保つ ことがベストプラクティスで、一度に一つのバリアントを対照群と比較することです。複数のバリアントを1つの実験でテストすることも可能ですが、より高度な設計が必要で、実験期間が大幅に長くなります。
• 一度に一つの変数をテスト しましょう。実験ごとに1つの要素だけを変えることで、その変化による性能の改善や低下を明確に特定できます。複数の変数を同時にテストすると、どの影響の原因かを特定するのが難しくなります。変数を個別に分離してテストすることで、より信頼性の高い結果が得られます。
• A/B/n検定と多変量検 定 - もし組織がA/B/n検定に慣れていない場合は、より複雑な多変量検定に進む前に、まずは簡単なA/B/n検定から始めることをお勧めします。
• 偽陽性率はバリアントが増えるほど増加 します。 サンプルサイズの計算では 、通常2つのバリアントで偽陽性率が5%(95%信頼水準)と仮定されます。バリアントが増えるほど、偽陽性の可能性は高まります。

  • 例

    、実際の偽陽性率は予想される5%ではなく約18%に上昇します。つまり、実際の差がなくても結果が誤って勝ちバリアントを示す確率はほぼ5分の1になります。

    これを緩和するために、ボンフェローニ補正 のような技術が用いられます。