チュートリアル: メール キャンペーン メッセージでの A/B テストの実行

A/B テストでは、同じメール キャンペーンの 2 つ以上のバリエーションを作成し、受信者から最も良い応答を受け取ったバリエーションをテストします。

最大 2 ~ 3 つのバリエーションをテストすることをお勧めします。希望する数のメッセージのバリエーションを作成できますが、引き続き明確で信頼できるテスト結果を得るには、バリエーションを追加する際により多くの受信者のプールが必要になります。

A/B テストは、定期メール キャンペーンでのみで実行できます。自動キャンペーンでは実行できません。次のテンプレートに基づいてメッセージをテストすることはできません: シンプル HTML メッセージプレーン テキスト メッセージ、または既存のページ

A/B テストを実行する前に、テストを送信する受信者の数、テストのタイミング、含めるメッセージ バリエーションの数など、テストの基準を計画することをお勧めします。

A/B テストを準備、実行、および完了するには、次のタスクを実行する必要があります。

A/B テストを実行する場合は、同じメッセージのさまざまなバリエーションをテストします。テストするメッセージのバリエーションごとに、元のメッセージの新しいバリエーションを作成する必要があります。元のメッセージは最初のバリエーション (バリエーション A)、および作成する新しいメッセージ バリエーションにはバリアント Bバリアント C などの名前が付けられます。

メッセージの新しいバリエーションを作成するには:

  1. A/B テストを実行するメッセージを開きます。

  2. 新しいバリエーションを追加するか、元のバリエーションとそのすべてのコンテンツを複製します。

    • 新しいバリエーションを追加するには、[メッセージ] タブで [バリエーションを追加] B82F73C735E34730B27D6FDD89E5F083.pngをクリックします。これにより、元のメッセージと同じテンプレートに基づいた新しいメッセージ バリアントが作成されますが、コンテンツは複製されません。

      注記

      より大きなコンポーネントやメッセージのレイアウトなど、メッセージのバリエーション間の包括的な違いをテストする場合は、このオプションを選択します。

      プラス アイコンをクリックして、バリエーションを追加します。
    • 元のバリエーションを複製するには、[アクション] をクリックしてから、[このバリエーションを複製する] をクリックします。これにより、元のメッセージとそのすべてのコンテンツが複製され、元のメッセージの新しいバリエーションが作成されます。

      注記

      件名フィールド、画像、ボタン名など、バリアント間のわずかな違いをテストする場合は、このオプションを選択します。

      [このバリアントを複製する] をクリックして、元のメールとそのすべてのコンテンツを複製します。

    メッセージのバリエーションは、バリエーションを簡単に切り替えることができる個々のタブに表示されます。

    メッセージ バリエーション
  3. 新しいメッセージ バリエーションに必要な変更を加えます。たとえば、メッセージのレイアウトを変更する、画像を変更する、または新しいコンポーネントを追加することができます。

    注記

    インポートされた HTML テンプレートでの A/B テスト メッセージをベースにする場合は、バリエーション A のみがレイアウトを含みます。その他のバリエーションについては、メッセージ レイアウトを手動で追加する必要があります。

  4. テスト用のすべてのメッセージ バリエーションを作成したら、[保存] をクリックします。

A/B テスト用のメッセージ バリエーションを作成したら、メッセージの送信方法を決定し、最適なメッセージを選択する方法を選択します。

A/B テストを開始するには:

  1. 送信するメッセージを開き、[配信] タブで、配信に含めるバリエーションをクリックします。

    A/B テストの配信オプション
  2. [テストのサイズ] ドロップダウン メニューで、このテストに含める受信者のパーセンテージをクリックします。この受信者のセットは、すべての受信者のリストからランダムに生成されます。

  3. 最良のテスト結果の選択方法を指定するには、[最良のテスト結果を選択する] で、次のオプションのいずれかをクリックします。

    • [自動] をクリックすると、訪問毎のベスト バリューに基づいて、システムが最良のバリエーションを選択します。そして、[次の後で自動的に最良のテスト結果を選択する] フィールドで、最良のテスト結果が選択されるまでテストを実行する時間を指定します。

      [訪問毎のベスト バリュー] をクリックすると、最良のバリエーションは、Web サイトで訪問者 1 人あたりのベスト バリューを生み出すバリエーションになります。または、[最も高い開封率] をクリックすると、最良のバリエーションは、最も多く開封されたバリエーションになります。

      注記

      値は、Web サイトで設定されたエンゲージメント バリュー ポイント従って計算されます。

    • [手動] は、A/B テストのレポートを確認し、独自の基準に基づいて最良のテスト結果のバリエーションを選択します。

  4. [スケジュール配信] で A/B テストを開始するタイミングを指定するには、次のオプションのいずれかをクリックします。

    • [すぐにメッセージを配信する] をクリックして、すぐに A/B テストを開始します。

    • [メッセージの配信をスケジュールする] をクリックして、A/B テスト メッセージを後で配信するようスケジュールします。A/B テストを開始する日時を指定します。

    • [定期的な配信をスケジュールする] をクリックして、A/B テスト メッセージを特定の間隔で送信するようにスケジュールします。繰り返し A/B テストを送信する間隔、日付、および時刻を指定します。

      注記

      A/B テスト メッセージの再送をスケジュールすると、以前に送信したテスト メッセージの最良のテスト結果を自動または手動で選択した場合にのみ、メッセージが再送されます。

  5. A/B テストの配信が完了したときに特定のメール アドレスに通知を送信する場合は、[通知] でチェック ボックスをオンにして、関連するメール アドレスを入力します。最良のテスト結果のバリエーションを選択して自動送信することを選ぶ場合、最後のメッセージが送信された後に通知が送信されます。

  6. 受信者が使用する言語でメッセージを送信する場合は、[その他] リンクをクリックしてから、[マルチ言語] で [優先言語を使用する] をクリックします。

  7. [A/B テストの開始] をクリックします (または、A/B テストをスケジュールした場合、[テストをスケジュールする] をクリックします)。

  8. [マルチ言語] セクションで [優先言語を使用] した場合、表示される [メッセージ配信確認] ダイアログでデフォルトの言語を確認します。

A/B テストが開始され、メッセージのステータスは送信に変更されます。システムが限定された受信者のセットへのメッセージの送信を完了すると、ボタンのラベルが [再開] に変わります。ただし、最良のテスト結果のバリエーションが選択されるまで非アクティブのままです。

A/B テストのスケジュールを選んだ場合、送信日時までメッセージをキャンセルするには、メッセージの [配信] タブで [スケジューリングをキャンセルする] をクリックします。

A/B テストを実行する前に最良のテスト結果の自動選択を選んだ場合、最良のテスト結果のメッセージはテストの完了後に受信者リストの残りの受信者に自動的に送信されます。最良のテスト結果のメッセージは、A/B テストに含まれていた受信者には送信されません。

最良のテスト結果の手動選択を選んだ場合、A/B テスト レポートを自分で確認し、最良と思われるバリエーションを選択する必要があります。受信者がメッセージを読んで反応するのに十分な時間を設定します。

A/B テストの最良のテスト結果を手動で選択するには:

  1. ナビゲーション メニューの [メール キャンペーン] で [進行中] をクリックします。

    リストで、メッセージのステータスを確認できます。最良のテスト結果を選択ステータスのメッセージは、最良のテスト結果を選択する準備ができています。

  2. メッセージを開き、[配信] タブを開きます。[最良のテスト結果を選択] でこれまでの A/B テストの結果を確認できます。

    テスト結果に基づいて、最良のバリエーションを選択します。

    表には、現在の統計とともに、各バリエーションが記載されています。

    • [開封率] は、メッセージを開封した受信者のパーセンテージです。

    • [クリック率] は、メッセージ内のリンクをクリックした受信者のパーセンテージです。

    • [バリュー] は、メッセージの開封後に受信者が生み出したエンゲージメント バリュー ポイントの数値です。

  3. これらの結果に基づいて、残りのメッセージ受信者に送信するバリエーションを決定し、[最良のテスト結果として選択] をクリックします。

  4. 最良のメッセージを残りの受信者に送信する準備ができたら、[再開] をクリックします。