Visa : les agents d'achat IA réussissent 57 % des tests

Au total, 57,2 % des essais sont réussis. 23,1 % de plus se terminent par un achat à côté de la plaque. Les 19,7 % restants se répartissent en deux cas : des essais sans décision, et des clients qui repartent sans rien alors qu'un produit convenait, le plus souvent parce que l'assistant a affirmé qu'aucun ne convenait.

Gemini 4 Argon et Muse Wonder se partagent le meilleur score, 82,2 %, mais Visa précise qu'aucun modèle ne se détache clairement, car les marges d'erreur se chevauchent avec celles des onze suivants. Les résultats suivent le prix : les cinq modèles les moins chers par essai atteignent 50 %, les cinq plus chers 67 %.

Chaque modèle échoue à sa manière. Dans 38 % de ses essais, GPT-6.1 Terra a renoncé à une vente qu'il pouvait conclure, alors qu'un produit adapté était disponible. Gemini 3.1 Pro a fait l'inverse : 51 % de ses essais se sont soldés par un achat à côté de la plaque.

Les assistants les plus utilisés ne coûtent pas cher à essayer. Google AI Pro était à 19,99 $ par mois et Claude Pro à 20 $ lors de notre vérification du 6 novembre, mais le coût indiqué par Visa est calculé par essai et ne correspond pas à ces abonnements.

Pour un vendeur, les deux types d'échec n'ont pas les mêmes conséquences. Le modèle qui renonce fait perdre une vente qui était à portée de main. Celui qui achète le mauvais produit livre une commande qui ne respecte pas un critère, ou qui est passée avant que ce critère n'apparaisse.