Calculateur de budget de test créatif

Combien de conversions faut-il à chaque variante ?

Une conversion est un achat. Le CPA, c’est ce que vous coûte un achat. Chaque variante a besoin d’assez de conversions pour faire apparaître l’écart de CPA qui vous importe. Avec 40 conversions par variante, un test ne distingue de façon fiable deux variantes que si le coût par achat de l’une est inférieur d’environ 47 % à celui de l’autre (méthode).

Ce nombre, c’est à vous de le fixer, car le chiffre de Meta concerne un ensemble de publicités. Un ensemble de publicités sort de la phase d’apprentissage « dès qu’il peut diffuser de façon stable, ce qui arrive généralement après environ 50 résultats dans la semaine suivant la dernière modification importante de l’ensemble » (À propos de la phase d’apprentissage).

Cette page ne donne aucun chiffre par annonce. Elle demande aux annonceurs d’« éviter un volume élevé d’annonces », car avec de nombreuses annonces et de nombreux ensembles de publicités « le système de diffusion apprend moins sur chaque annonce et chaque ensemble ». Dix variantes IA dans un même ensemble se partagent ce qu’il apprend.

Le test créatif de Meta identifie les « annonces test les plus performantes » et précise qu’« aucun niveau de confiance n’est fourni » : c’est donc le seuil que vous fixez qui vous protège d’un leader dû au hasard.

Sous 100 conversions par variante, seul un écart de CPA d’un tiers ou plus apparaît de façon fiable. Chaque ligne compare une paire de variantes à dépense égale (méthode).

Pour faire apparaître un écart de 20 %, chaque variante a besoin d’environ 315 conversions (méthode). Avec un coût par achat de 30 $, cela représente 9 450 $ par variante et 47 250 $ pour cinq, soit 237 jours à 200 $ par jour.

Cinq variantes forment dix paires. Une correction de Bonferroni limite à 5 % ou moins le risque d’un faux gagnant sur l’ensemble des dix. Elle fait passer la ligne des 40 conversions de 47 à environ 56 % (méthode).

Le calculateur de Your eCom Team associe des niveaux de confiance de 80, 90 et 95 % à 20, 30 et 50 conversions par concept. Il ne cite aucune source pour cette correspondance. D’après le tableau ci-dessus, son réglage à 95 % (50 conversions chacune) ne repère de façon fiable que des écarts de CPA d’environ 43 % ou plus.

Vous jugez un test sur le taux de conversion des clics ? UGC IA vs UGC humain dimensionne cet échantillon avec une formule à deux proportions. Elle demande un taux de départ, que ce calculateur ne demande pas.

Comment l’écart détectable est calculé

ratio = exp(2.80 × sqrt(2 / n))

Ce que le calculateur ne compte pas

Le calculateur ne tient pas compte du coût de fabrication des variantes. Avec les chiffres d’exemple, chaque variante ajoutée coûte 1 200 $ de budget et 6 jours de lecture en plus. Le calculateur du coût d’une pub IA chiffre la fabrication, formule par formule, pour la mettre en regard.

Il laisse aussi de côté :

• La répartition de l’argent par Meta. Son test créatif « vise à dépenser ce montant par jour pour les annonces test », sans dire comment il se répartit entre elles. La formule de dépense suppose des parts égales, comme le recommande la page sur le test A/B de Meta : « le même budget pour les deux versions ».
• Le reste de votre budget. Meta suggère « pas plus de 20 % » du budget existant pour les annonces test. Dans ce cas, un test à 200 $ par jour demande un budget de campagne ou d’ensemble de publicités d’au moins 1 000 $ par jour.
• Le plafond de sept variantes. Le test créatif compare « jusqu’à 7 variantes créatives » : la ligne du calculateur pour 10 variantes suppose donc un second test ou une autre configuration.
• Les conversions tardives. L’attribution par défaut de Meta compte « clic sur 7 j, vue sur 1 j et engagement sur 1 j » (Résultats) : un achat peut donc être attribué à une annonce jusqu’à 7 jours après le clic. Les chiffres de la dernière semaine continuent de monter après l’arrêt du test.
• La saisonnalité. Une promo ou une fête pendant le test fait bouger le coût par achat de chaque variante, et avec lui la dépense et la durée ci-dessus.

Que faire quand le test dure trop longtemps

Comparez la durée à la vitesse d’usure des pubs

La page sur la fatigue publicitaire de Meta ne donne aucune fenêtre fixe. Son statut « Fatigue créative » apparaît quand le coût par résultat atteint « le double de celui des publicités diffusées par le passé » ou plus.

La page décrit la fonctionnalité comme « disponible uniquement pour les ensembles de publicités avec une seule créa, hors annonces de catalogue Advantage+ (anciennement annonces dynamiques), créa dynamique ou campagnes d’application Meta Advantage+ ». Pourtant, elle dit que le statut s’affiche « pour votre ensemble de publicités ou votre annonce ». On ne sait pas bien, d’après cette page, si chaque annonce d’un test reçoit son propre signal.

Un test qui dure 60 jours peut juger des pubs déjà usées en fin de course, et Meta peut ne pas le signaler.

Réduisez les variantes avant de réduire les conversions

Diviser le nombre de conversions par deux, de 40 à 20, divise la durée par deux. Cela élargit aussi le plus petit écart visible, de 47 à 59 % (tableau). Diviser les variantes par deux, de 10 à 5, divise aussi la durée par deux, de 60 à 30, et garde le 47.

Testez moins d’idées, mais plus différentes les unes des autres : de petits volumes ne voient que de grands écarts. Gardez le reste pour le prochain test.

Le test créatif et le test A/B de Meta côtoient les outils de test payants dans les outils de test de créas IA, classés par usage. Les étapes pour planifier le test lui-même figurent dans un cadre de test créatif pour les pubs Meta.

Le modèle et suivi de test créatif budgétise chaque variante.