adtestbench Higgsfield
KO

소재 테스트 템플릿과 트래커

글 Alexandre S. 게시 최종 확인

이 템플릿은 테스트 하나를 한 행으로 관리하며, 집행 전에 변형마다 필요한 광고비를 계산해 줍니다. CSV 다운로드(가입 불필요, Google Sheets와 Excel에서 열림). K열에는 그 광고비로 확인할 수 있는 최소 CPA 차이가 나옵니다. 판독할 수 없는 행은 비용이 나가기 전에 정리할 수 있습니다.

템플릿의 열과 T01행의 예시 값
열 입력 내용 예시 수식
A 테스트 ID 광고 이름 맨 앞에도 들어가는 짧은 코드 T01 직접 입력
C 가설 바꾸는 요소와 기대 효과를 한 문장으로 문제부터 보여 주는 훅이 CPA를 낮춘다 직접 입력
D 변수 변형 사이에서 달라지는 유일한 요소 후킹 직접 입력
E 변형 수 집행하는 버전 수, 2개 이상 3 직접 입력
F 예상 CPA 최근 구매당 비용 또는 결과당 비용 30 직접 입력
G 변형당 전환 수 판단하기 전에 기다릴 전환 수 40 직접 입력
H 변형당 광고비 변형마다 써야 하는 광고비 1,200 =F*G
I 총 광고비 해당 행에 투입하기로 한 금액 3,600 =E*H
J 비교 쌍 수 행에 들어 있는 모든 1:1 비교 3 =E*(E-1)/2
K 확인 가능한 최소 CPA 차이 해당 행이 안정적으로 보여 줄 수 있는 차이 51% 아래 산출 방법 참고
M 중단 기준 집행 전에 고정하는 종료 조건 전환 40건 또는 30일 직접 입력
O~R 결과 1위와 2위 CPA, 차이, K 기준 충족 여부 24, 31, 23%, Inside the gap =1-O/P, 이어서 K와 비교
S 결정 결과에 따라 다음에 바꾸는 것 현재 훅 유지 직접 입력

옆으로 스크롤하면 4개 열을 모두 볼 수 있습니다.

막대 차트: 변형당 전환 40건일 때 테스트로 확인할 수 있는 최소 CPA 차이는 변형 2개에서 47%, 3개에서 51, 5개에서 56, 7개에서 58, 10개에서 60입니다
변형을 추가할수록 쌍마다 더 엄격한 기준이 필요해져 확인 가능한 차이가 벌어집니다. adtestbench가 adtestbench.com 데이터를 바탕으로 작성,

소재 테스트 템플릿 다운로드

파일명은 creative-testing-template.csv이며, 헤더 행 하나, 표시된 예시 행 두 개, 20개 열로 구성됩니다. Google Sheets에서는 파일, 가져오기, 업로드를 차례로 선택하고 “Convert text to numbers, dates, and formulas” 옵션을 체크한 상태로 가져옵니다. Excel에서는 파일을 바로 엽니다. 수식은 두 프로그램이 공통으로 지원하는 함수만 쓰므로 매크로나 추가 기능이 필요 없습니다.

H, I, J, K, N, Q, R열은 자동 계산되고, 나머지는 직접 입력합니다. 시트로 계획을 세우기 전에 예시 행 두 개를 모두 바꿔야 합니다.

평가 방법
H  spend per variant
   = F x G
I  total spend
   = E x H
J  pairs compared
   = E x (E - 1) / 2
K  smallest detectable gap
   = 1 - 1 / EXP(
     (NORM.S.INV(1 - 0.05 / (2 x J))
     + NORM.S.INV(0.8))
     x SQRT(2 / G))
Q  observed gap
   = 1 - O / P

K열은 소재 테스트 프레임워크의 공식을 적용합니다. 변형당 광고비 동일, 유의수준 5%(양측), 검정력 80%를 가정합니다. 정규 근사라서 전환 수가 적을수록 오차가 큽니다.

변형이 셋 이상이면 본페로니 보정으로 J개 쌍 전체에서 잘못된 승자가 나올 확률을 5%로 묶습니다. 1.96을 0.05 / (2 x J)에 해당하는 z 값으로 바꾸며, 변형 세 개에서는 2.39, 다섯 개에서는 2.81입니다.

한 행 채우기: 실제 테스트 예시

T01행은 예시 입력값으로 계산 과정을 보여 줍니다. CPA 30달러, 변형당 전환 40건, 훅 세 개입니다.

T01행 계산 과정, 예시 입력값
단계 계산 결과
변형당 광고비 30 x 40 $1,200
총 광고비 3 x 1,200 $3,600
비교 쌍 수 3 x 2 / 2 3
확인 가능한 최소 차이 z = 2.39 (세 쌍 기준) 약 51%

옆으로 스크롤하면 3개 열을 모두 볼 수 있습니다.

같은 입력값에서 변형이 두 개인 행은 약 47%를 확인할 수 있고, 다섯 개로 늘면 약 56까지 올라갑니다(소재 테스트 예산 계산기).

가설을 쓰기 전에 계산 결과부터 읽어야 합니다. 새 훅이 CPA를 20% 낮출 것으로 기대한다면, 변형당 전환 40건으로는 이를 확인할 수 없습니다. 프레임워크의 표에 따르면 변형이 두 개일 때 변형당 약 315건의 전환이 필요합니다.

T01의 예시 결과는 24 대 31으로, 차이는 23%이며 해당 행이 확인할 수 있는 51% 안에 있습니다. R열에는 “Inside the gap”(차이 범위 안)이 출력됩니다. 결정 칸에는 이후 조치를 기록합니다. 예를 들어 상위 훅 두 개를 더 많은 전환으로 재테스트하는 식입니다.

소재 테스트 매트릭스: 무엇부터 테스트할까

소재 테스트 매트릭스는 바꿀 수 있는 변수를 나열한 표이며, 시트의 행은 그중 정확히 하나만 다룹니다. 이유는 Meta의 변수를 둘 이상 테스트할 때 페이지에 있습니다. 변수가 여럿이면 “어떤 변수가 승리한 광고 세트를 만들었는지 정확히 알 수 없습니다”.

변수 매트릭스와 변수별 고정 요소
변수 변형 사이에서 달라지는 것 고정하는 것
후킹 처음 2~3초 본문, 오퍼, 크리에이터, 형식
형식 이미지 대 영상, 또는 영상 길이 메시지와 오퍼
소구 포인트 광고가 앞세우는 문제 또는 욕구 포맷과 크리에이터
오퍼 가격, 번들 또는 보증 광고 소재와 랜딩 페이지
Creator 진행자, AI 아바타 또는 음성 스크립트와 편집

옆으로 스크롤하면 3개 열을 모두 볼 수 있습니다.

포맷 행은 주의가 필요합니다. Meta의 “다이내믹” 옵션은 소재를 비교하지 않고 섞어서 노출하기 때문입니다. 정적 광고 vs 다이내믹 광고에서 두 방식의 차이를 구분합니다. AI 훅 생성기에서는 훅 변형을 써 주는 툴을 비교합니다.

소재 테스트 트래커: 결과 기록과 판정 방법

시트의 트래커 영역(L~S열)에는 각 행이 약속한 내용과 실제 결과를 비교해 기록합니다. 시작일을 입력해 두고, M열의 종료 기준에 도달하면 O열과 P열에 1위와 2위 CPA를 채웁니다.

판정은 종료 기준에 도달했을 때만 내리고, 그보다 일찍 내리지 않습니다. Meta의 A/B 테스트 모범 사례는 “최소 7일 테스트”를 권장하며, A/B 테스트 기간의 상한은 30일입니다.

진행 중인 캠페인 안에서 하는 소재 테스트는 신뢰 수준 수치를 제공하지 않습니다. Meta의 소재 테스트 안내 페이지에도 “신뢰 수준은 포함되지 않습니다”라고 나와 있습니다. 이때는 K열이 판단 기준이 됩니다.

소재 피로도도 메모 열에 기록합니다. Meta의 소재 피로도 안내 페이지에 따르면 결과당 비용이 과거 광고보다 오르되 2배 미만이면 “Creative limited”, 2배 이상이면 “Creative fatigue”가 표시됩니다. 이 상태는 소재가 하나뿐인 광고 세트에만 적용되므로, 한 광고 세트에 광고 여러 개를 넣은 테스트에는 표시되지 않습니다.

분기별 소재 테스트 로드맵

소재 테스트 로드맵은 시트의 행을 론칭 순서대로 늘어놓고 I열을 월별로 합산한 것입니다. 이 합계가 분기에 투입할 예산이며, 몇 개 행을 넣을 수 있는지도 여기서 정해집니다.

행 순서는 두 가지 기준으로 정합니다. 첫째는 직전에 판정한 행의 결과입니다. 승리한 훅은 다음 포맷 행의 훅으로 고정됩니다. 둘째는 비용입니다. CPA가 30일 때 변형 2개 행은 전환 20건 기준으로 1,200달러, 변형 5개 행은 전환 40건 기준으로 6,000달러가 듭니다.

B열의 상태값(Planned, Live, Called)으로 필터링하면 시트가 로드맵 보기로 바뀝니다. B열이 Planned인 행만 필터링해 L열 기준으로 정렬하면 분기 대기열이 됩니다.

트래커와 Ads Manager가 맞도록 광고 이름 짓는 법

N열은 테스트 ID와 변수를 조합해 광고 이름 접두어를 만듭니다(예: T01_hook). 각 광고 이름을 정할 때는 그 뒤에 변형을 덧붙입니다(T01_hook_v2). Ads Manager 내보내기 파일에는 광고 이름이 포함됩니다. 접두어로 필터링하면 한 행의 변형 전체를 한 화면에서 볼 수 있고, CPA 열은 O열과 P열에 그대로 붙여넣으면 됩니다.

모든 플랫폼에서 같은 접두어를 쓰면 내보내기 파일끼리 맞춰 볼 수 있습니다.

설문·사전 테스트 템플릿: 또 다른 종류

aytm, Attest 같은 설문 플랫폼은 광고비를 쓰기 전에 패널에게 광고 반응을 묻는 설문 템플릿을 제공합니다. 이런 템플릿은 기억도나 호감도처럼 응답자가 말하는 반응을 측정하지만, 이 시트는 실제 집행 중의 CPA를 측정합니다. 론칭 전에 광고 성과를 예측하는 툴은 AI 소재 테스트 툴에서 다룹니다.

광고 소재 브리프 템플릿에 항목이 하나씩 정리돼 있습니다.

출처

  1. Meta Business Help Center: Set up a creative test in Meta Ads Manager, 한 광고의 사본 2~7개, 신뢰 수준 없음, 테스트 광고에는 기존 예산의 20% 이하를 권장, 페이지에 날짜 표기 없음, en_US 버전에서 인용. 확인
  2. Meta Business Help Center: Best practices for A/B Testing, 테스트당 변수 하나, 최소 7일 테스트, 최대 30일, 페이지에 날짜 표기 없음. 확인
  3. Meta Business Help Center: About creative fatigue recommendations in Meta Ads Manager, 결과당 비용이 과거의 2배 미만이면 Creative limited, 2배 이상이면 Creative fatigue, 소재가 하나뿐인 광고 세트에만 적용, 페이지에 날짜 표기 없음. 확인
  4. Meta Business Help Center: Testing more than one variable in A/B tests, 변수를 여러 개 바꾸면 어느 변수가 결과를 만들었는지 알 수 없음, 페이지에 날짜 표기 없음. 확인
  5. adtestbench.com: Meta 소재 테스트 프레임워크, 탐지 가능 비율 공식, 전환 40건에서의 47% 격차, 이 템플릿이 적용하는 본페로니 분할. 확인
  6. adtestbench.com: 소재 테스트 예산 계산기, 템플릿의 F, G, E열과 같은 입력값으로 계산한 변형별 지출과 총지출. 확인
Alexandre S. 프로필 사진

Alexandre S.

Alexandre S.는 크리에이티브 광고 전략가이자 카피라이터로, 여러 채널을 아우르는 디지털 마케팅 경력이 10년입니다.