Wil je op een eenvoudige manier beginnen met datagedreven werken? Zonder meteen te ingewikkelde analyses te hoeven doen? Op een manier die ook grote bedrijven zoals Booking.com, Google en Hunkemöller toepassen? Dan zijn A/B testen een goede optie. Bij A/B-testen ga je bewust een gedeelte op een andere manier werken, zodat je weet wat betere resultaten oplevert.
Wat zijn A/B-testen?
A/B-testen is een aparte tak van datagedreven werken waarbij je twee of meer varianten van iets (een manier van werken, website etc.) vergelijkt om te bepalen wat beter werkt. A/B-testen worden erg veel gebruikt voor website optimalisatie, wat ook blijkt uit de definitie op Wikipedia, maar je kunt het concept van A/B-testen veel breder inzetten.
Het idee van A/B-testen werd dan ook al toegepast ver voordat er zoiets als internet bestond. Als voorbeeld van een van de eerste succesvolle A/B-testen (of eigenlijk A/B/N testen) wordt vaak James Lind genoemd. Lind deed in de 18e eeuw een klinische test deed om te achterhalen wat kan helpen tegen scheurbuik. Hiervoor deelden ze 12 zeemannen met symptomen van scheurbuik in 6 paren. Deze 6 paren werden elk op dezelfde manier behandeld en kregen hetzelfde dieet. Hierbij kreeg elk paar een ander extra supplement als onderdeel van het dieet. Het bleek dat het paar dat elke dag cider kreeg een beetje opknapte. De 2 zeemannen die citroenen en sinaasappels kregen bleken daarentegen zeer snel op te knappen. Zo vond Lind uit dat bepaalde vruchten konden helpen om scheurbuik te genezen, al weten we tegenwoordig dat dit vooral te danken was aan de vitamine C in de vruchten.
In het geval van Lind ging het om een gecontroleerd experiment met meerdere scenario’s die qua dieet op 1 element verschilden. Zo kwam hij erachter wat beter werkte. En dat is hoe het tegenwoordig ook nog steeds wordt toegepast al wordt het nu vooral veel gebruikt voor het optimaliseren van websites.
Booking.com
Zo heeft Booking.com bijvoorbeeld zelfs een ‘Director of Experimentation’. Hij zorgt er onder andere voor dat er A/B-testen worden uitgevoerd om de werking van de booking.com website te verbeteren. Daarbij splitsen ze de bezoekers van hun website in 2 groepen. De ene groep krijgt de huidige website te zien terwijl de andere groep krijgt de geupdate versie van de website te zien. Vervolgens wordt het gedrag van de bezoekers vergeleken en als de resultaten van de nieuwe website in vergelijking zijn zoals verwacht, dan wordt deze live gezet. Zo bepaalt Booking.com op basis van data of een nieuwe versie van hun website de impact heeft die ze voor ogen hadden.
Of wat te denken van Google waar ze niet konden kiezen welke kleur blauw ze zouden gebruiken in hun advertenties. Zij kozen ervoor om hiervoor een A/B-testen op te zetten waarbij ze 41! verschillende kleuren blauw voorschotelden aan steeds 1% van hun gebruikers. Hieruit leerden ze dat een iets paarsere blauwtint ervoor zorgde dat er meer op advertenties geklikt werd dan bij een groenere blauw tint dus kozen ze voor de eerste.
Jouw eerste A/B-testen, hoe pak ik dit aan?
Ook aan de slag met A/B-testen zoals Booking.com en Google? Met het volgende stappenplan kom je tot een goede A/B-testen:
- Wat is het doel van de test: Bepaal wat het doel is van de test. Dat kan zijn het verbeteren van een bepaald proces door het testen of te verifiëren of een bepaald onderbuik gevoel klopt.
- Stel je hebt het idee dat een productieproces meer output zou kunnen voortbrengen als de fabriekshal beter verlicht wordt.
- Bepaal de hypothese: Hierbij zet je het onderbuik gevoel om in een hypothese die je kunt gaan testen.
- In bovenstaand voorbeeld zou de hypothese worden: Betere verlichting zorgt voor meer output van ons productieproces
- Zet de varianten op: Zet de A en B variant van de test op zodat je de hypothese kunt testen. Een belangrijk onderdeel hiervan is dat je het verschil tussen de varianten duidelijk vast stelt. Daarnaast bepaal je welke data je gaat verzamelen om de resultaten van de testen te analyseren en op basis hiervan beslissingen te kunnen nemen.
- In dit geval zou bij zowel A als B hetzelfde productieproces worden uitgevoerd, door dezelfde mensen, maar wordt er in een van de gevallen betere verlichting opgehangen in de fabriekshal.
- Experimenteer: Voer de experimenten uit en zorg dat je alle data vastlegt.
- Voor bovenstaand proces zal de data vooral zitten in de output van het proces.
- Analyseer de resultaten: Nadat de scenario’s zijn getest, analyseer je de resultaten. Bepaal welk scenario het beste presteerde en of er een statistisch significant verschil is tussen de prestaties van het A en B scenario.S
- Stel, tijdens het analyseren merk je dat de extra verlichting echt zorgt voor meer output en het verschil blijkt significant.
- Beslis wat je met de resultaten gaat doen: Als het verschil tussen scenario A en B significant blijkt, lijkt het een goed idee om de verandering door te voeren.
Op deze manier kun je op een laagdrempelige manier data gedreven binnen je organisatie. En mocht je argumenten nodig hebben om je collega’s te overtuigen van het nut. Google en Booking.com doen het ook!
Bronnen
https://imu.nl/internet-marketing-kennisbank/begrippen/ab-testen/
https://www.emerce.nl/cases/seo-ab-testing-bij-hunkemoller
https://partner.booking.com/en-gb/click-magazine/role-experimentation-bookingcom
https://devopedia.org/a-b-testinghttps://www.theguardian.com/technology/2014/feb/05/why-google-engineers-designers