De 6 do's en don'ts bij A/B testen

Het uitvoeren van A/B tests is al jarenlang een van de meest gebruikte testmethodes in het digitale landschap om te achterhalen welke van de twee variaties (A of B) het meest effectief is. Dankzij Google, dat onlangs de gratis tool Optimize heeft uitgerold, kan straks (bijna) iedereen in een handomdraai A/B testen uitrollen. Toch moet je met een aantal zaken rekening houden voordat je een test wilt uitvoeren.

Wat is een A/B test ook alweer?

Een A/B test is een experiment waarbij twee varianten met elkaar worden vergeleken en waarbij wordt onderzocht welke het beste rendeert. Zo kunnen webpagina’s met elkaar worden vergeleken en kan achterhaald worden welke van de twee beter converteert, of meer leads oplevert. A/B testing wordt niet alleen gebruikt voor landingpages, want ook in de e-mailmarketing, social advertising en zoekmachinemarketing wordt veelvuldig gebruik gemaakt van deze testmethode.

The 300 million dollar button

Een bekend voorbeeld van een A/B test is afkomstig van Amazon. Ze realiseerden een omzetgroei van 300 miljoen dollar nadat een A/B test hen op nieuwe inzichten had gewezen. In een A/B testen keken ze naar het totale aantal verkochte producten. Het bijzondere aan de test? De ene groep consumenten moest bij een aankoop verplicht inloggen op het Amazon-account, terwijl de andere groep consumenten ook de optie had om als gast de aankoop te voltooien. Het resultaat laat zich al raden. De laatste groep kocht 45% meer dan de groep die verplicht in moest loggen.

Uiteraard is het dan ook niet verwonderlijk dat het ‘Continue as a guest’ door tal van bedrijven werd gekopieerd. Voor je echter een goede A/B test hebt opgezet moet je met een aantal belangrijke zaken rekening houden, want er zitten behoorlijk wat valkuilen aan het uitvoeren van een A/B test. Wij hebben de belangrijkste do’s en dont’s voor je op een rijtje gezet.

1. Maak heldere en meetbare doelstellingen

Het belangrijkste doel bij een A/B test is het optimaliseren van je website. Je wilt immers bepaalde aannames over de efficiency of gebruiksvriendelijkheid van je website bevestigd zien krijgen. Koppel je aannames daarom aan heldere en meetbare doelstellingen. ‘Meer omzet genereren’ is een veelgehoorde doelstelling. Maar hoe ga je dat meten? Wil je nieuwe klanten die voor een hogere omzet zorgen of wil je de conversieratio onder bestaande bezoekers verhogen? Met meetbare doelstellingen optimaliseer je niet alleen je A/B-test maar ook je resultaten. 

Oh, en check voor je een A/B test uitvoert ook of je test op elk device en alle browsers werkt. Je wilt immers niet dat je resultaten beïnvloed worden omdat jij niet hebt gecheckt of je pagina wel op IE 11 laadt.

2. Kies de juiste steekproef

Om het beste uit een A/B test te halen moet je zo wat in de rol van een wetenschapper kruipen. Daar geldt immers ook dat je een hypothese alleen op de juiste manier kan onderzoeken, door vast te houden aan statistische significantie en validiteit. Met een te kleine steekproef kun je bijvoorbeeld niet met zekerheid zeggen of je A/B test geslaagd is. Een A/B test onder 100 mensen is moeilijk serieus te nemen. In de E-commerce is een steekproef van minimaal 10.000 bezoekers dan ook zeer gebruikelijk.

3. A/B testen = een doorlopend proces

Tijdens het A/B testen ben je natuurlijk uit op statistische significantie waarbij je hoopt dat je aannames keihard bevestigd worden. Toch zal je veelal zien dat je lang niet zulke mooie cijfers zult vinden als het Amazon-voorbeeld. Integendeel. A/B testen leidt volgens VWO maar in 1 van de 7 gevallen tot een echte winnaar. Mocht je dus op het eerste ogenblik geen noemenswaardige resultaten vinden, schroom niet. Gebruik die resultaten weer om nieuwe hypotheses op te stellen en rol nieuwe tests uit.

4. Test niet te lang

Bij een A/B test is het van belang dat je variaties aan één en dezelfde persoon worden getoond. Dat klinkt logisch, maar omdat een cookie gemiddeld 30 dagen bewaard blijft (en soms nog korter) kan het voorkomen dat personen verschillende keren aan je A/B test worden blootgesteld en zelfs verschillende variaties te zien krijgen. Zorg er dan ook voor dat je een A/B test nooit langer dan een maand laat duren. De voorkeur gaat uit naar maximaal twee weken.

5. Voorkom 'flickering' van je variaties

Een opmerkelijk fenomeen waar je rekening mee moet houden tijdens het A/B testen is ‘flickering’. Bij flickering laden de scripts van je A/B test later dan gebruikelijk, waardoor iemand zowel variant A als B krijgt te zien. Dit kan optreden wanneer iemand een trage internetverbinding heeft of gebruik maakt van een verouderde browser. Dit effect wil je uiteraard voorkomen omdat je anders geen valide testresultaten krijgt. Om dit te voorkomen kun je ervoor zorgen dat je bezoekers eerst een blank page te zien krijgen zodat alle trackers langzaam geladen kunnen worden. Google Optimize heeft dit inmiddels zelfs automatisch als script ingeladen.

6. Hoe meer je meet, hoe meer je weet

De 300 million dollar button van Amazon is een prachtig voorbeeld van een A/B test. Toch zijn er maar weinig die zulke resultaten kunnen evenaren. Vaak zullen de verschillen in een A/B test klein of onverwacht zijn. Maar laat dat je er niet van weerhouden om te blijven testen. Hoe meer je meet, hoe meer je weet.