A/B-testen is de heilige graal bij digitale product- en marketingbeslissingen. Als je wilt weten welk effect welke aanpassing heeft, of welke campagnetekst het meest verleidt, dan voer je een A/B-test uit. Maar gaat dat nog wel goed met alle cookierestricties door browsers?

Meer ruis

Als een browser van je bezoeker geen cookie van je A/B-test software accepteert, dan kan deze bezoeker niet worden terugherkend door jouw systeem. Hierdoor bestaat de kans dat deze bezoeker een andere variant ziet bij terugkomst op de locatie waar de A/B-test wordt uitgevoerd. Dit probleem bestond natuurlijk al met bezoekers die verschillende devices gebruiken tijdens hun pad naar conversie, maar dit probleem wordt nu aanzienlijk groter. Bij meer ruis wordt de kwaliteit van je beslissing op alle data minder hoog, maar dit is vaak nog steeds een betrouwbaardere beslissing dan alleen naar de datatrend kijken bij implementaties of feedback vanuit gebruikerstesten of enquêtes aanvoeren als bewijs.

Minder signaal

Nadeel van meer ruis is dat het ervoor zorgt dat je kleine positieve of negatieve effecten niet meer terugziet in je A/B-testresultaten. Grotere effecten blijf je echter gewoon waarnemen, ook met deze ruis. Je kunt er ook voor kiezen om alleen naar sessieconversies te kijken met dezelfde ruis, of juist met minder signalen te werken. Denk bijvoorbeeld aan alleen de conversie effecten bekijken van terugkerende bezoekers, zij worden immers wel goed herkend. Je wilt daarom ook weten of een specifieke bezoeker kan worden terugherkend door de A/B-test software, zodat je hierop kunt segmenteren in je A/B-test of in de resultaten. Je populatie is kleiner, maar wel zuiverder. Als je al veel conversies had, is dit een prima oplossing om goede beslissingen te kunnen nemen.

Opt-in gekte

Door alle AVG-regelgeving zorgt elke website nu al voor een opt-in-vraag voor cookies en aanverwante technieken. Los van de vraag waar A/B-testcookies thuishoren is het de gemiddelde bezoeker helaas gewoon geworden om op elke opt-in-vraag ‘ja’ te antwoorden. Daarnaast is het natuurlijk de vraag of het A/B-test cookie niet als functioneel cookie moet worden gezien. Ook bezoekers willen een zelfde ervaring blijven krijgen van campagne tot conversie. Hier zou je ook opt-in voor kunnen vragen. Zodra een bezoeker, en daar ben ik groot voorstander van, echt bewust ja heeft gezegd tegen een A/B-test, dan wel analytics-cookie, dan kun je ook andere methodieken dan de door browsers geblokte cookies gebruiken voor het herkennen van bezoekers.

Oplossingen

De markt voor A/B-testen is heel volwassen en er zijn verschillende grote softwarespelers op actief. Enerzijds werken zij aan oplossingen die ook zonder cookies bezoekers terugherkennen. Anderzijds werken zij aan algoritmes die op basis van gedrag voorspellen of de ene en de andere sessie bij dezelfde bezoeker horen. Je kunt dan zelf besluiten hoeveel risico je wilt nemen bij het analyseren van een A/B-testresultaat. De grote techpartijen werken daarnaast aan eigen herkenmethodieken op hun grote groep ingelogde bezoekers. Dit zal ook steeds meer extern worden ontsloten. Tot slot zal je nu zelf echt aan de gang moeten om te zorgen dat zoveel mogelijk van je bezoekers inloggen. Dan A/B-test je zelfs betrouwbaarder dan je al eerder deed!

Webanalisten oprichter Ton Wesseling is de vaste auteur van de terugkerende conversie-rubriek in Emerce magazine: het tijdschrift over “the next step in E-business”. Deze maand schreef hij over: Kun je nog wel betrouwbaar A/B-testen?

Klik op de afbeelding om deze te vergoten.

Emerce Conversion Rubriek maart 2021