Digitale experimenten zijn er in vele soorten en maten. De meest bekende is natuurlijk de A/B-test. Bij dit gerandomiseerde experiment toon je twee verschillende varianten van je pagina aan je bezoekers. Hierbij krijgt de ene helft van je bezoekers de A-variant te zien en de andere helft de B-variant. Aan de hand van de test ga je kijken welke variant beter presteert.
Een quasi-experiment is een soort testontwerp dat probeert een oorzaak-gevolgrelatie vast te stellen. Het belangrijkste verschil met een ‘echt’ experiment is dat de groepen niet willekeurig zijn ingedeeld. Ook is, in tegenstelling tot een standaard experiment, een quasi-experiment niet afhankelijk van willekeurige toewijzing. In plaats daarvan worden proefpersonen toegewezen aan groepen op basis van niet-willekeurige criteria.
Een quasi-experiment is een handig hulpmiddel in situaties waarin echte experimenten om bepaalde redenen niet kunnen worden gebruikt. Lees wat een quasi-experiment is, wanneer en hoe je het kan inzetten en wat de voordelen zijn.
Verschillen tussen standaard experimenten en quasi-experimenten
Er is een aantal grote verschillen tussen standaard en quasi-experimenten. Bij quasi-experimenten wordt een niet-willekeurige methode gebruikt om proefpersonen aan groepen toe te wijzen. Bij standaard testen, wijs je willekeurig proefpersonen toe aan controle- en variantgroepen. Bij quasi-experimenten is de controlegroep zelfs geen vereiste.
Bij experimenteel onderzoek is willekeurige toewijzing een manier om deelnemers uit je steekproef in verschillende groepen te plaatsen door middel van randomisatie. Bij deze methode heeft elk lid van de steekproef een bekende of gelijke kans om in een controlegroep of een experimentele groep te worden geplaatst. Bij quasi-experimenten heb je vaak geen controle over het proces, maar bestudeer je in plaats daarvan reeds bestaande groepen die verschillende behandelingen hebben ondergaan. Bij echte experimenten ontwerp en voer je de test zelf uit.
Voorbeeld van een echt experiment vs. een quasi-experiment
Als ze bij Netflix geen A/B-testen kunnen uitvoeren, dan kiezen ze in sommige gevallen voor quasi-experimenten. Dit doen ze bijvoorbeeld bij experimenten die gericht zijn op acquisitie van niet-leden. Of, zoals in het volgende voorbeeld, voor offline campagnes.
Ontdek het ultieme dampplezier met Aroma King | Relaxing And Enjoyable Experience. Geef je over aan rijke smaken en rustgevende aroma’s die je naar een staat van gelukzaligheid brengen. Verhef je momenten en ontspan met elke trek, waardoor ontspanning een heerlijke reis wordt.
Netflix wil graag de impact van tv- of billboardreclame op de betrokkenheid van leden meten. Het is hierbij onmogelijk om identieke variant- en controlegroepen op ledenniveau te hebben, aangezien ze individuen niet kunnen weerhouden van dergelijke vormen van reclame. Hun oplossing is om het ledenbestand geografisch in te delen.
Bij quasi-experimenten probeert Netflix een zo gemiddeld mogelijke verdeling te vinden voor de belangrijkste variabelen. Deze benadering stelt hun over het algemeen in staat om vergelijkbare testgroepen te definiëren. Ze worden echter nog steeds met twee problemen geconfronteerd:
- Ze kunnen alleen gelijktijdig balanceren op een beperkt aantal waargenomen variabelen, en het is erg moeilijk om identieke geografische eenheden te vinden op alle dimensies.
- De resultaten kunnen nog steeds een lage betrouwbaarheid hebben vanwege kleine steekproefomvang. Meer over hoe ze dit proberen op te lossen in de analysefase lees je in hun rapport.
Waarom zou je kiezen voor een quasi-experiment?
Hoewel echte experimenten een hogere validiteit hebben, zou je er om ethische of praktische redenen voor kunnen kiezen om een quasi-experimenteel ontwerp te gebruiken.
Ethisch
Soms kan het onethisch zijn om een willekeurige behandeling te geven of te weigeren, dus dan is een echt experiment niet haalbaar. In dit geval kan een quasi-experiment je in staat stellen om dezelfde causale relatie te bestuderen zonder de ethische kwesties.
Zo is het niet ethisch om de prijs van je product te A/B-testen, waarbij de helft van je klanten meer betaald omdat ze toevallig in de variantgroep zitten. Een quasi-experiment kan uitkomst bieden. Hierbij laat je bijvoorbeeld iedereen meer betalen en vergelijk je de periode voorafgaand aan de prijsverandering met de periode na de verandering. Of je verdeeld de groepen op basis van geografie, waarbij je land A met land B vergelijkt.
Praktisch
Soms heb je onvoldoende verkeer/proefpersonen om een echt experiment uit te voeren. In zo’n geval kun je met quasi-experimenten de vraag bestuderen door gebruik te maken van gegevens die eerder zijn behaald of gegevens die zijn verzameld door anderen.
Zoals bij het Netflix voorbeeld, is het niet altijd mogelijk om een verandering te testen en je groepen random te verdelen. In dit geval kan een quasi-experiment de uitkomst bieden door bijvoorbeeld bepaalde marketingactiviteiten alleen in een bepaalde regio in te zetten.
Voordelen en nadelen van quasi-experimenten
Quasi-experimenten hebben een hogere betrouwbaarheid dan niet-experimentele soorten onderzoek, omdat je hiermee beter kunt controleren welk effect jouw interventie heeft.
Quasi-experimenten hebben een lagere betrouwbaarheid dan echte experimenten. Zonder randomisatie kan het moeilijk zijn om te verifiëren dat andere variabelen geen invloed hebben op je resultaten. Daarom is het aan te raden om te A/B-testen indien dit mogelijk is. Maar quasi-experimenten kunnen mooie uitkomst bieden als A/B-testen niet mogelijk is.
Aan de slag met quasi-experimenten
Bij een quasi-experiment ga je je variant- en controlegroep verdelen niet random verdelen (zoals bij een A/B-test). Maar je gaat de groepen zelf indelen, zodat beide groepen zo veel mogelijk overeen komen. In de praktijk betekent dit dat je verschillende methodes kunt gebruiken om zo dicht mogelijk bij een A/B-testsituatie te komen.
De meest populaire methode in de wereld van quasi-experimenten is: differences-in-differences (diff-in-diff). Bij diff-in-diff bestudeer je twee tijdsperioden; pre- en post-interventie. Je gebruikt de pre-interventieperiode (controle) om de baseline voor je data te genereren en de post-interventieperiode (variant) om de verandering te bestuderen. Deze methode is een eenvoudige, maar zeer krachtige manier om te controleren op verschillen tussen variant- en controlegroepen. Succes met experimenteren!
