Chad Sanderson (Microsoft) gaf tijdens Conversion Hotel 2018 een presentatie over experimenteren op een breder niveau. Hierbij ging hij dieper in op digitale ‘randomized controlled trials’ (RCT’s). Oftewel gerandomiseerd gecontroleerde testen.
De representativiteit van je testen is het belangrijkst. De kwantiteit van je testgroep beïnvloedt je kwaliteit niet zolang de verzamelde data representatief is voor de onderliggende populatie. Voor gedegen onderzoek heb je dus niet altijd veel bezoekers nodig. Een voorbeeld hiervan zijn RCT’s. Hierbij evalueer je de impact die een aanpassing heeft op een testgroep ten opzichte van een controlegroep. Beide groepen worden willekeurig verdeeld gekozen uit dezelfde populatie.
Wat is de waarde van digitale RCT’s?
- Geautomatiseerde randomisatie om de test zo betrouwbaar mogelijk te maken.
- Experimentele statistieken kunnen toegepast worden.
- Grenzen en controle. Hierdoor kan je snel bepalen of de aanpassingen een negatieve impact hebben op de resultaten en het gebruik.
Nadelen van RCT’s
- Representativiteit is een probleem. De populatie moet representatief zijn als je wilt dat je uitkomsten dat ook zijn.
- ‘Seasonality’ beïnvloedt je resultaten
- Sample Ratio Mismatch (SRM). Bij een Sample Ratio Mismatch komt de steekproefverhouding niet overeen met het ontwerp van een experiment.
- Cookie churn. Cookies worden verwijderd door gebruikers waardoor zij niet meer meer uniek geïdentificeerd kunnen worden.
CRO volgens Chad
Volgens Chad is experimentatie CRO de basis voor het kwantificeren van het risico bij een beslissing. Bedrijfsbeslissingen nemen risico’s met zich mee zoals nieuwe mensen aannemen, nieuwe tools implementeren en nieuwe campagnes starten. Bij CRO is dit niet anders.
De regels van Chad
- Begrijp je limitaties en overhaast niet
- Accepteer de data zoals ze zijn en neem imperfecties daarbij voor lief. Data vertelt niet altijd het hele verhaal, maar dat is prima.
- Experimenteer voor ROI. Kleine testen die een crisis afwenden zijn fantastisch. Een dure uitgebreide test die eigenlijk weinig zegt, is minder goed.
Meer weten over de presentatie van Chad? Kijk op de website van Conversion Hotel.
