メール キャンペーン メッセージでの A/B テストの実行

概要

同じメッセージの 2 つ以上のバリエーションに対して A/B テストを実行し、顧客が最もよく反応するものをテストできます。

効果的なメール キャンペーンの作成は、顧客をどれほど知っているかに大きく依存します。メール キャンペーンを作成する場合、メッセージのコンテンツとレイアウトは、顧客にとって何が魅力的かを前提にしています。ただし、前提は正確ではなく、受信者は期待どおりにキャンペーンに反応しない可能性があります。

A/B テストを使用すると、最終的なメール キャンペーンを残りの顧客に送信する前に、少数の顧客グループに対して前提をテストおよび検証できます。これにより、最も魅力的で関連性の高いメール キャンペーンを常に顧客に送信できます。

A/B テストの機能を使用することで、同じメール キャンペーンの 2 つ以上のバリエーションを作成し、受信者から最も良い応答を受け取ったものをテストできます。限られた受信者のセットでテストを実行し、テスト結果が明確になったら、最も良い結果のバリエーションを残りの受信者に送信できます。これにより、統計的に最も多くの顧客を引き付け、ビジネスに最大の価値を生み出すメール キャンペーンを常に送信できます。

注記

自動メッセージ、または次のメッセージ タイプに対して A/B テストを実行することはできません: シンプル HTML メッセージ、プレーン テキスト メッセージ、または既存のページ。

Email Experience Manager (EXM) は、A/B テストのプロセスを進めますが、開始する前にいくつか準備しておくことをお勧めします。テスト対象と状況が分かれば、あとは単純です。

何人の受信者をテストに含めますか?

メール キャンペーンの送信に関するこれまでの経験に基づいて、A/B テストに含める最適な受信者数を決定できます。通常、メール メッセージを開いて読んだ受信者の数を知るには、以前のキャンペーンのレポートを表示します。

次の要因は、テストに含める受信者の数を示します。

  • 受信者の合計数。受信者の数が少ない場合 (2,000 人など) は、信頼できる結果を得るために、最大 10% または 15% (200 ~ 300 人) の受信者をテストに含めることをお勧めします。受信者の合計数が多い場合 (50,000 人など) は、5% 以下を含めるとよい結果が得られます。

  • メッセージに対する信頼度。メール キャンペーンのメッセージを信頼していて、それをすばやく確認することに関心がある場合は、少数の受信者を A/B テストに含めるだけで済みます。

A/B テストを開始する前に、次の質問を自問してみます。

  • メッセージのどの部分をテストしたいですか?

    件名フィールド、またはメッセージのコンテンツ領域のコンポーネント (背景、テキスト、リンク、画像など) のいずれかに対して A/B テストを実行できます。ただし、テストをシンプルに保ち、メッセージの 1 つまたは 2 つの要素のみをテストすることをお勧めします。これにより、より明確なテスト結果が得られ、メッセージに対する受信者の反応を理解することができます。

  • テストに含めるメッセージのバリエーションの数は?

    A/B テストには希望する数のメッセージのバリエーションを含めることができますが、追加するバリエーションが増えるほど、テストの結果がわかりにくくなる可能性があることに注意してください。たとえば、メッセージの 2 つのバリエーションをテストする場合、それぞれのバリエーションがテスト受信者の 50% に送信されます。一方、4 つのバリエーションをテストに含める場合、それぞれのバリエーションはテスト受信者の 25% にしか送信されず、結果が不明瞭になる可能性があります。2 つまたは 3 つ以上のバリエーションをテストする場合は、受信者の数を慎重に検討し、バリエーションの数に比例してより多くの受信者を含める必要があります。

  • テストを実行する曜日/時間は?

    経験上、受信者がメッセージを開封して読む可能性が最も高いことがわかっている日時を指定します。また、メール キャンペーンの配信にかかる時間も考慮します。たとえば、メール キャンペーンを 500,000 人の受信者に配信する場合、配信が完了するまでに数時間かかる場合があります。

  • どのバリエーションが最良かを決定するのにどれくらいの時間が必要ですか?

    メール キャンペーンの経験に基づいて、信頼できるテスト結果を提供するのに受信者が応答に必要な時間を判断してください。キャンペーンに対する信頼度に応じて、受信者がメッセージに反応する時間の設定を増減できます。

    たとえば、単純なバリエーションを使用した A/B テストによって素早く安心感を得たい場合、通常、顧客がキャンペーンに迅速に反応するという前提で、顧客の応答時間を 6 時間に設定します。一方、どのメッセージ バリエーションが最も効果的であるか確信を持てない場合は、顧客の応答時間を最大 24 時間に設定することで、より広範で信頼性の高い結果を得ることができます。

  • より優れたバリエーションを手動または自動で選択しますか?

    最適なメッセージ バリエーションを自動的に選択するのが最も簡単なオプションです。自動選択を使用して、バリエーションを選択するパラメーター (訪問毎のベスト バリューまたは最も高い開封率) を決定すると、指定された時間に最適なメッセージ バリエーションが残りの受信者に自動的に送信されます。

    優先するメッセージ バリエーションを手動で選択することもできます。これにより、完全な制御が可能になり、クリック率などの他のパラメーターに基づいて最適なメッセージ バリアントを選択できます。

A/B テストを実行するには、同じメッセージの 2 つ以上のバリエーションが必要です。最良のメールを自身で選択するか、EXM に最良のメールを自動的に選択させることができます。バリエーションを作成し、A/B テストを実行して最良のバリエーションを選択する方法については、「チュートリアル: メール キャンペーン メッセージでの A/B テストの実行」を参照してください。