AB testing, les 10 erreurs à ne pas faire

La mise en place d’AB tests est un élément clé de toute stratégie CRO. Cependant, il existe de nombreux pièges courants qui peuvent entraver vos efforts et réduire le retour sur investissement de vos actions.Des tests mal conçus, mal interprétés ou qui manquent de fiabilité, ces diverses erreurs peuvent freiner vos performances en conversion. Dans cet article, nous allons explorer les 10 erreurs les plus courantes que vous devez à tout prix éviter pour assurer le succès de vos AB tests et donnez à votre site l'élan nécessaire pour surclasser la concurrence.

1° – Faire de l’AB testing avec un trafic trop faible

Il s’agit de l’un des premiers éléments à vérifier avant de se lancer dans l’AB testing : votre trafic. En effet avec un trafic trop faible vos tests ne seront pas significatifs, les données récoltées ne permettent pas d’interpréter les résultats avec assurance.

Plus les données sont nombreuses, plus les résultats ont des chances d'être fiables (de la même manière qu’un sondage). C’est pourquoi vous devez prendre en compte le volume du site, ou de la page concernée, pour des résultats sûrs. Il existe des calculateurs en ligne permettant d’anticiper la durée de votre test : rentrez votre taux de conversion, vos sessions quotidiennes et le minimum de progression envisagé et vous obtenez une durée minimum.

Vous l’aurez compris, l’AB testing ne convient pas aux sites à faible volume. Petite astuce pour les petits trafics : tester avec des modifications importantes afin d’avoir un fort impact quitte à ne pas savoir exactement quel élément a permis les résultats.

2° - Créer un test sans se baser sur une hypothèse

Ne tirez pas à l’aveugle !

Chaque test doit partir d’un problème identifié par une analyse de données. Cette analyse peut se faire via l’observation des performances et des statistiques de votre site, via l’analyse du comportement de vos utilisateurs (tests, sondages ou encore carte de chaleur) ou via la vérification de cohérences des critères heuristiques et ergonomiques du site concerné.

N’hésitez pas également à vous mettre à la place de l’utilisateur, prenez du recul et testez la page ou l’élément en question avec un regard extérieur. Il est nécessaire de formuler des hypothèses réfléchies et pragmatiques, grâce à cela, vous pourrez confirmer ou infirmer ces hypothèses et ne plus miser sur le hasard.

3° - Ne pas prioriser ses hypothèses de tests

Il est nécessaire de mettre en place un modèle de priorisation des tests avant de commencer l’implémentation. Pensez à la répercussion de chacune de vos hypothèses de test et posez-vous les bonnes questions.

• Mon test est-il impactant, remarquable ?
• Se trouve-t-il sur une page éloignée ou proche de la conversion finale ?
• Est-il plutôt facile ou plutôt difficile à mettre en place ?

La méthode PIE prend en compte le potentiel, l’importance, et la facilité de mise en place du test. Selon la note de ces critères, faites la moyenne de chacun de vos tests et classez-les par ordre de priorité, du meilleur score au moins bon. Ne pas prioriser vos tests pourrait vous faire perdre beaucoup de temps et de ressources.

4° - Lancer des tests sans les recetter en amont

Une étape à ne pas mettre de côté dans la procédure de lancement : le recettage (la vérification) de votre test.

Vous êtes pressés de lancer votre AB test pour confirmer votre hypothèse, ok, mais n’en oubliez pas de vérifier l’implémentation de votre test avant de le lancer. Vérifiez la mise en situation de votre version B sur différents supports et interagissez avec elle afin de vérifier son implémentation. Cela pourra vous éviter de perdre du temps ou encore de devoir jeter un test à cause d’une analyse faussée.

5° - Exécuter un AB Test sur une période trop courte

La durée d’un AB test, quels que soient le trafic de votre site et les performances de conversion obtenues, doit durer au minimum deux semaines ! Il est risqué de stopper un test plus tôt, car la répartition aléatoire du trafic sur une courte période biaise l’analyse de vos résultats.

N’oubliez pas qu’un taux de conversion peut brutalement changer en fonction du jour de la semaine ou de la saisonnalité, du contexte du moment (voir erreur n°9). De plus, nous vous recommandons de ne pas croire trop vite la plateforme de test fournissant parfois des conclusions trop hâtives et sans réelle fiabilité. 

6° - Lancer plusieurs tests simultanément sur une même audience ou une même page

Un autre faux pas est de lancer trop de tests en simultané sur une même audience. À ne pas confondre avec l’erreur précédente, on parle ici de tester plusieurs pages ayant pour cible une même audience et le même objectif de conversion.

Le principal inconvénient est que vous vous trouverez face à une analyse grandement incertaine. En effet, comment savoir si c’est votre premier test ou votre second test qui a fait augmenter la conversion ? En répétant les AB tests, avec une audience et des indicateurs distincts, vous éviterez le manque de fiabilité dans les résultats.

7° - Modifier la variante (la version B) pendant le test

Quoi de mieux pour venir fausser les résultats d’un test ?

Ne venez en aucun cas modifier votre variante durant le test, c’est le meilleur moyen de biaiser complètement les performances de l’AB test. Si vous vous apercevez d’une modification ou d’une erreur une fois votre test en ligne, stoppez-le et recommencez une nouvelle période de test avec de nouvelles données. Le recettage (erreur n°4) est justement utile pour éviter de recommencer un AB test, ou pire, de modifier la variante d’un test en cours.

8° - Oublier la saisonnalité et les autres actions marketing en cours

Attention aux périodes particulières et aux campagnes ou autres leviers en cours !
Il est important de prendre en compte ces facteurs lors de vos périodes de tests. Un événement commercial de saison, comme Noël, peut grandement modifier le comportement des utilisateurs. De même que les potentielles campagnes en cours de votre marque (acquisition en ligne, média). Pensez-y avant de lancer un test, vos résultats n’en seront que plus fiables.

9° - Considérer des résultats non concluants comme un échec

Il est tout à fait possible que certains de vos tests échouent, rassurez-vous, ce n'est pas un véritable échec, car l’hypothèse à laquelle vous avez pensé a dans tous les cas été vérifiée. Vous pouvez donc tirer des leçons de ces résultats et les prendre en compte pour vos prochains tests.

Exploitez des résultats, même négatifs, et tirez parti des chiffres pour en savoir davantage sur vos utilisateurs et pour vérifier une autre hypothèse. L’itération de test, et donc la validation ou non d’hypothèses, est le meilleur moyen pour optimiser votre site et améliorer son taux de conversion.

10° - Négliger les “petits” gains de performance

“Seulement 2% de conversion en plus pour la version B ? C’est trop faible, on ne va pas l’implémenter.”

Détrompez-vous, une augmentation, même très légère, reste une augmentation. Et à partir du moment où la fiabilité est vérifiée, même les petits gains peuvent être grandement bénéfiques. Rappelez-vous que l’optimisation perdure dans le temps, et s’additionne pour chacun des tests réalisés ! En enchaînant les AB tests. L’accumulation de petites optimisations a un impact important.

11° - [Bonus] Ne pas tester en permanence

Chaque jour sans test est un jour de perdu !

Tester vous permet d’en apprendre plus sur les performances de votre site, sur le parcours des utilisateurs et sur ce qui fonctionne, ou pas, tout ça de manière continue. Il ne s’agit pas de tester un élément au hasard, mais de vérifier une à une chacune des hypothèses qui pourraient rendre votre site plus performant, une optimisation en continu. Rappelons que, d’après un baromètre récent, 75% des acteurs avec un trafic de plus d’1 million de visiteurs mensuels font de l’A/B testing.

La mise en place d’AB test est à ce jour le plus performant des leviers CRO, il serait dommage de ne pas savoir s’en servir de la meilleure des manières pour améliorer la conversion de votre site web. De l’hypothèse de test à l’analyse des performances, en passant par la priorisation et le recettage, chaque étape a son importance. À vos marques, prêts, testez !