adtestbench Higgsfield
JA

クリエイティブテストのテンプレートとトラッカー

執筆:Alexandre S. 公開日: 最終確認日:

テンプレートは1テスト1行で、配信前に各バリエーションに必要な広告費を計算します。CSVをダウンロード(登録不要、GoogleスプレッドシートでもExcelでも開けます)。K列には、その広告費で検出できる最小のCPA差が表示されます。読み取れない行は、費用が発生する前に切り捨てられます。

テンプレートの列と、行T01の入力例
列 入力内容 例 計算式
A:テストID 各広告名の先頭にも付ける短いコード T01 手入力
C:仮説 変更内容と期待する効果を1文で 課題提起型のフックでCPAが下がる 手入力
D:変数 バリエーション間で異なる唯一の要素 フック 手入力
E:バリエーション数 実施するバージョンの数(2以上) 3 手入力
F:想定CPA 直近の購入単価または結果単価 30 手入力
G:バリエーションあたりのコンバージョン数 判定するまで待つ件数 40 手入力
H:バリエーションあたりの広告費 各バリエーションが消化すべき広告費 1,200 =F*G
I:総広告費 その行で確定する広告費 3,600 =E*H
J:比較する組数 その行に含まれる全ペアの比較 3 =E*(E-1)/2
K:検出できる最小のCPA差 その行が確実に示せる差 51% 下の算出方法を参照
M:停止ルール 配信前に決める終了条件 40コンバージョンまたは30日 手入力
O〜R:結果 最良と次点のCPA、その差、Kを超えているか 24、31、23%、検出可能な差の範囲内 =1-O/P、その後Kと比較
S:判断 結果を受けて次に何を変えるか 現在のフックを継続 手入力

4列すべてを見るには横にスクロール

棒グラフ:バリエーションあたり40コンバージョンのとき、テストで示せる最小のCPA差は、バリエーション2本で47%、3本で51%、5本で56%、7本で58%、10本で60%
バリエーションが増えるほど、検出できる差は広がります。組が1つ増えるごとに、より厳しいしきい値が必要になるためです。 adtestbenchが作図。出典:adtestbench.com、

クリエイティブテストのテンプレートをダウンロード

ファイルはcreative-testing-template.csvです。ヘッダー行、目印付きの入力例2行、全20列で構成されています。Googleスプレッドシートでは、[ファイル]→[インポート]→[アップロード]を選び、「テキストを数値、日付、数式に変換する」にチェックを入れたままにします。Excelなら、そのまま開けます。数式は両方のスプレッドシートに共通する関数だけを使っているため、マクロもアドオンも不要です。

H、I、J、K、N、Q、R列は自動計算です。それ以外は手入力します。シートで計画を立てる前に、入力例の2行を両方とも置き換えてください。

調査方法
H  spend per variant
   = F x G
I  total spend
   = E x H
J  pairs compared
   = E x (E - 1) / 2
K  smallest detectable gap
   = 1 - 1 / EXP(
     (NORM.S.INV(1 - 0.05 / (2 x J))
     + NORM.S.INV(0.8))
     x SQRT(2 / G))
Q  observed gap
   = 1 - O / P

K列には、当サイトのクリエイティブテスト設計ガイドの式を使っています。バリエーションごとの広告費が同額で、有意水準5%(両側)、検出力80%を前提としています。正規近似のため、カウントが小さいほど精度は粗くなります。

バリエーションが3本以上の場合は、ボンフェローニ補正で、J組すべてを通じて誤った勝者が出る確率を5%に抑えます。1.96を0.05 / (2 x J)に対応するz値に置き換えるもので、3本なら2.39、5本なら2.81です。

1行を埋める:テスト例

行T01は、入力例でその計算を示したものです。CPAは30ドル、バリエーションあたり40コンバージョン、フックは3種類です。

行T01の計算例(入力例)
ステップ 計算 結果
バリエーションあたりの広告費 30 x 40 $1,200
総広告費 3 x 1,200 $3,600
比較する組数 3 x 2 / 2 3
検出できる最小の差 3組の場合 z = 2.39 約51%

3列すべてを見るには横にスクロール

同じ入力で2バリエーションの行なら、検出できるのは約47%です。5バリエーションでは約56%に広がります(クリエイティブテスト予算計算ツール)。

そのため、仮説を書く前に結果の読み方を確認します。新しいフックでCPAが20%下がると見込んでも、バリエーションあたり40コンバージョンでは示せません。フレームワークの表では、2バリエーションで1バリエーションあたり約315コンバージョンが必要です。

T01の例の結果は24対31で、差は23%。行が検出できる51%の範囲内です。R列には「検出可能な差の範囲内」と表示されます。判断のセルには、最良の2つのフックをコンバージョンを増やして再テストするなど、次の対応を記録します。

クリエイティブテストのマトリクス:最初に何をテストするか

クリエイティブテストのマトリクスは、変えられる変数の一覧で、シートの各行では変数をちょうど1つだけ選びます。Metaの複数の変数のテストのページがその理由を示しています。変数が複数あると、「どの変数が勝った広告セットにつながったのか正確には分からない」のです。

変数のマトリクス(それぞれ固定する要素つき)
変数 バリエーション間で変わる要素 固定する要素
フック 冒頭の2〜3秒 本編、オファー、クリエイター、フォーマット
フォーマット 静止画と動画、または動画の長さ メッセージとオファー
訴求軸 広告の冒頭で打ち出す悩みや欲求 フォーマットとクリエイター
オファー 価格・セット販売・保証 クリエイティブとLP
Creator 出演者・AIアバター・音声 台本と編集

3列すべてを見るには横にスクロール

フォーマットの行は注意が必要です。Metaの「ダイナミック」系オプションは、アセットを比較せず組み合わせてしまうためです。両者の違いは静止画広告とダイナミック広告で、フックのバリエーションを書くツールの比較はAIフック生成ツールで解説しています。

クリエイティブテストのトラッカー:結果の記録と判定の方法

シートの後半、L〜S列がトラッカーです。各行で想定していた内容に対して、実際に何が起きたかを記録します。開始日を入力し、M列の停止ルールを満たしたら、O列とP列に最良のCPAと次点のCPAを入力します。

判定は停止ルールに達した時点で行い、それより前には行いません。MetaのA/Bテストのベストプラクティスでは「最低7日間のテスト」を推奨しており、A/Bテストの上限は30日です。

配信中のキャンペーン内でクリエイティブテストを行っても、信頼度は表示されません。Metaのクリエイティブテストのページにも「信頼度は含まれません」とあります。その場合の判断基準はK列です。

広告疲れもメモ欄に記録しておきます。Metaのクリエイティブ疲労のページでは、結果単価が過去の広告を上回り、2倍未満にとどまると「Creative limited」、2倍以上になると「Creative fatigue」と表示されます。対象はクリエイティブが1つだけの広告セットに限られるため、1つの広告セットに複数の広告を入れたテストには、このステータスが付きません。

四半期のクリエイティブテスト計画

クリエイティブテストの計画とは、シートの行を配信開始順に並べ、I列を月ごとに合計したものです。この合計が四半期に投じる予算で、入れられる行数もここで決まります。

行の並べ順は2つの基準で決めます。1つ目は、直前に判定した行の結果です。勝ちフックが決まれば、次のフォーマットの行ではそのフックを固定します。2つ目はコストです。CPAが30の場合、2パターンの行はコンバージョン20件で1,200ドル、5パターンの行は40件で6,000ドルを投じることになります。

B列のステータス(Planned、Live、Called)で、シートをロードマップ表示に絞り込めます。B列がPlannedの行をフィルタし、L列で並べ替えると、四半期の実施順が一覧になります。

広告名の付け方:トラッカーと広告マネージャを一致させる

N列では、テストIDと変数から広告名の接頭辞(T01_hookなど)が作られます。各広告に名前を付けるときは、その後ろにバリエーション(T01_hook_v2)を追加します。広告マネージャのエクスポートには広告名が含まれるため、接頭辞でフィルタすれば、1行分のバリエーションがすべて1つのビューにまとまり、CPAの列はそのままO列とP列に貼り付けられます。

全プラットフォームで同じ接頭辞を使えば、エクスポート同士を突き合わせられます。

アンケート・事前調査用テンプレート:もう1つのタイプ

aytmやAttestなどのリサーチプラットフォームには、広告費をかける前にパネルへ広告の感想を尋ねるアンケートテンプレートがあります。測るのは認知や好感度といった回答上の反応で、このシートが配信中のCPAを測るのとは異なります。配信前に広告成果を予測するツールは、AIクリエイティブテストツールにまとめています。

広告クリエイティブ制作指示書(ブリーフ)テンプレートで、全項目を1つずつ解説しています。

出典

  1. Meta Business Help Center:Set up a creative test in Meta Ads Manager(1つの広告のコピーを2〜7件、信頼度は表示されない、テスト広告の予算は既存予算の20%以内が目安。ページに日付の記載なし。en_USバージョンから引用)。確認日:
  2. Meta Business Help Center:Best practices for A/B Testing(1テストにつき変数は1つ、期間は最短7日間・最長30日間。ページに日付の記載なし)。確認日:
  3. Meta Business Help Center:About creative fatigue recommendations in Meta Ads Manager(過去の結果単価の2倍未満で「Creative limited」、2倍以上で「Creative fatigue」。対象はクリエイティブが1つだけの広告セット。ページに日付の記載なし)。確認日:
  4. Meta Business Help Center:Testing more than one variable in A/B tests(複数の変数を変えると、結果の要因がどれなのか特定できない。ページに日付の記載なし)。確認日:
  5. adtestbench.com:Meta向けクリエイティブテストのフレームワーク(検出可能な比率の計算式、コンバージョン40件で47%の差を検出する例、このテンプレートが採用するBonferroni補正による分割)。確認日:
  6. adtestbench.com:クリエイティブテスト予算計算ツール(バリエーション別の費用と総額。入力項目はテンプレートのF列・G列・E列と同じ)。確認日:
Alexandre S.のポートレート

Alexandre S.

Alexandre S.は、複数のチャネルにまたがるデジタルマーケティングで10年の経験があるクリエイティブ広告ストラテジスト兼コピーライターです。