Bienvenue dans la RDE Academy, où nous partagerons les stratégies qui ont réussi pour nous! Ceci est la première partie de notre série dédiée au marketing via email, et vous y trouverez un petit truc bien pratique que nous utilisons avec MailChimp.

Chez RDE Marketing nous adorons MailChimp. C’est, sans aucun doute, l’un des outils les plus important pour notre entreprise.

Mais quand nous avons commencé à chercher à faire des test A/B pour nos emails, nous nous sommes frottées à un petit problème.

MailChimp ne permet pas de faire des test A/B sur des campagnes automatisées. Ce qui se comprend… la règle de base des test A/B c’est qu’il ne faut changer qu’un seul élément à la fois, et la nature même d’une campagne automatisée (envoyer plusieurs emails les uns derrière les autres, de manière automatisée) rend cela difficile à exécuter.

Par exemple, si vous avez une série de trois emails et que vous vouliez tester des changements sur chacun d’entre eux, il vous faudrait mettre en place un test qui ressemblerait un peu à…

Email 3

Contrôle
Contrôle
Contrôle
Test
Test
Test
Contrôle
Test
Test

Où « contrôle » est la version standard de l’email, et « test » sa version modifiée.

Ça nous donne neuf variantes possibles, ce qui signifie que vous partagez le trafic en neuf segments différents, donc que cela risque prendre du temps pour obtenir un échantillon pertinent. Et puisque chacune de ces séries prend plusieurs jours, on peut imaginer le temps que cela prendrait pour obtenir des résultats.

Donc, on a décidé de bouger un peu les choses, et de faire notre test de la manière suivante:

Email 3

Contrôle
Test

On compte sur vous pour ne pas nous dénoncer à la police des tests…

Notre justification, autre que de vouloir faire plus simple et plus rapide, est aussi que nous cherchons à voir de grosses différences en termes de taux de conversion. Quand vous attendez de gros changements, il devient un peu moins important d’isoler les éléments que vous allez modifier dans le test.

Il est probable que, plus tard, lorsque ces premiers tests « à la louche » nous mettent sur les rails, que nous deviendrons un peu plus « scientifiques » sur notre approche de la notion même de test. Mais, pour le moment, ceci nous donne suffisamment d’information pour que nous mettions en place des changements dans nos campagnes!

Mais, la partie importante… voici comment nous avons fait!

Comment faire des tests A/B sur une campagne MailChimp automatisée

Puisque MailChimp ne permettait pas de faire des tests sur des campagnes automatisées, il nous a fallu contourner le problème. Donc, voici ce que nous avons fait…

Notre test s’est fait sur notre série d’invitation. Quand quelqu’un se rend sur RDEMarketing.fr, il sont encouragés à s’inscrire à Exposé! Vous verrez peut-être même une invitation pop-up sur cet article! Bref, quand vous vous inscrivez à Exposé, notre expert WordPress a installé un petit tour de magie qui vous assigne un numéro que nous appelons la Variante Test.

Lorsque nous créons les segments pour les campagnes test sur MailChimp, nous utilisons cette variante test pour vous séparer en deux groupes: un groupe de test et un groupe de contrôle. Ensuite, on vous envoie la campagne correspondante.

Pour reprendre notre exemple ci-dessus, si nous faisions les choses correctement, nous aurions besoin de neuf groupes pour tester neuf variations différentes de notre campagne. Mais dans notre version simplifiée, nous n’avons besoin que de deux variantes test pour obtenir les résultats dont nous avons besoin.

Donc, nous aurions pu simplement assigner à chacun un numéro « un » ou « deux ». Mais ce n’est pas ce que notre hacker préféré ferait. À la place, nous avons assigné à chacun un numéro entre un et six. Ceci permet d’assurer un partage plus équilibré (et aléatoire) entre les groupes, et nous permettrait de faire un partage en trois groupes si l’envie nous prenait. Un, deux et trois sont partis dans le groupe de contrôle. Quatre, cinq et six sont allés dans le groupe expérimental et ont reçu notre nouvelle série.

Sachez que vous n’avez besoin de faire cela que pour le premier email de votre série! Tous les autres emails sont connectés au premier, ce qui facilite le partage pour le test. Merci MailChimp!

Comment nous mesurons les résultats

La partie la plus sensible de notre opération test A/B est la mesure des résultats.

Nous regardons deux choses: le taux d’ouverture et le taux de clic. Le taux d’ouverture nous dit combien de personnes ont ouvert chacun des emails, et le taux de clic combien de personnes ont cliqué sur un lien sur chacun des emails. Ce sont des données vitales évidentes, non?

Pourtant il reste difficile de mesurer notre succès car nous avons besoin de données concrètes, et MailChimp ne nous fournit que des pourcentages. Alors, nous avons construit une feuille de calcul qui prend le pourcentage et le nombre d’emails envoyés, et nous donne des chiffres concrets pour nos taux de clics et d’ouverture. Cela ressemble à ça:

Pourquoi avons-nous besoin des quantités de clics et d’ouverture? Parce qu’ensuite nous prenons ces chiffres et les passons au crible du VWO’s A/B Split Test Significance Calculator pour voir si nos résultats sont significatifs, statistiquement. Voici à quoi ça ressemble:

Sans se perdre dans les détails mathématiques, ce calculateur estime simplement si vous échantillon est suffisamment important pour être significatif. Dans l’exemple ci-dessus, ce n’est pas le cas. C’est pour cela que notre colone “Significatif?” dans la feuille de calcul dit “Non”.

Nous continuons le test et à remplir la feuille de calcul et le calculateur à la main jusqu’à ce que celui-ci soit significatif. Ou nous décidons que le test a duré suffisamment longtemps et qu’il n’y a pas d’impact suffisant pour justifier un changement. Et ,parfois, c’est aussi une bonne leçon!

Notre plus grande leçon jusque là

Nous avons obtenu beaucoup d’information utile de ces tests bricolés, comme changer des « objets » d’emails, ou modifier complètement le contenu de certains emails. Mais, au global, notre plus grande découverte jusque là est venue d’un test qui n’a pas montré de différence significative en termes de performance. Celui-là même que nous vous avons montré dans l’exemple.

Dans ce test, la seule différence entre nos deux campagnes était la durée entre chaque envoi d’email. Dans la version de contrôle, nous avions trois emails envoyés sur un mois environ. Dans notre test, nous avons réduit cela à 10 jours.

Et, devinez quoi? Les résultats étaient quasiment similaires.

Au final, nous avons appris que nous pouvions réduire la durée de notre phase d’introduction à environ un tiers de sa durée initiale sans que cela ait de conséquences négatives. Donc, évidement, c’est devenu notre nouveau standard! Non seulement cela nous permettra d’avoir des clients plus rapidement, mais cela permettra à tout nos prochains tests de donner des résultats plus rapidement. Et c’est le genre de chose qui paiera nos dividendes sur le long terme.

Nous vous donnerons plus d’informations sur ces tests, ainsi que sur nos aventures dans la jungle de l’email marketing. Pour l’instant, eh bien, si vous avez envie de vous amuser un peu avec MailChimp, testez donc ce bricolage!