Ondanks dat A/B testing tegenwoordig een standaard methode is bij marktonderzoek zijn er nog weinig open source platformen die deze functionaliteit aanbieden. Maar afgelopen jaar kondigde softwarebedrijf Intuit aan dat ze hun real-time, enterprise-grade A/B Testing platform genaamd Wasabi open source gingen maken. Intuit Inc. ontwikkelt en verkoopt financiële, boekhoudkundige en fiscale software voor kleine bedrijfs accountants en individuen. Wasabi is sinds de introductie van PlanOut door Facebook in 2015 het eerste open source platform voor A/B testing. Dat moesten we testen!
Wat is Wasabi?
Wasabi is een real-time, 100% API driven, A/B Testing platform. Het platform biedt bedrijven en individuen de mogelijkheid experimenten uit te voeren op het web, mobiel, en desktop voor back-end en front-end, producten en marketing. Intuit omschrijft het platform als snel, makkelijk in gebruik (Wasabi kun je lokaal met docker opzetten in 5 minuten en de gehele implementatie duurt naar hun zeggen minder dan een dag), goedkoop en schaalbaar. Ook beschermt Wasabi de gebruikersdata en onderhouden ze tegelijkertijd je concurrentievoordeel waardoor je niet meer je gevoelige data hoeft af te geven aan 3rd party services zoals bijvoorbeeld Google Analytics of Adobe Analytics. Een groot voordeel is het flexibele UI voor het managen van je experimenten.
Let’s test
Na het opzetten van een lokale server en het invoeren van wat test data hebben we een aantal A/B testen opgezet om te kijken of de veelbelovende omschrijving van Intuit waar bleek te zijn. Op het eerste gezicht lijkt Wasabi een gedegen framework, die zeker voor server-side testing een uitstekende basis biedt. Een groot voordeel is dat concurrenten of consumenten niet kunnen zien dat je gebruik maakt van de tool, zoals bij andere tools (o.a. Optimizely of Visual Website Optimizer) vaak wel het geval is. Wel moet je alle testen zelf met code opzetten, een WYSIWYG editor is niet beschikbaar. Ook misten we een preview mode bij de ontwikkeling van de testen.
De data van de bezoekers wordt opgeslagen in eigen beheer. Omdat experiment-data voor elke bezoeker opgehaald moet worden vanaf de Wasabi server, lijkt een on-premise installatie de meest logische oplossing. Wasabi claimt dat de tool snel is (30ms response) en ‘enterprise-grade’ veel aankan. Maar als je de Wasabi server in de cloud laat draaien, loop je het risico op network-latency effecten die de snelheid van je website of applicatie negatief beïnvloeden.
Ook heeft de tool, ondanks de belofte voor gebruiksgemak, een erg hoog IT-gehalte: voordat je kunt beginnen moet je nog veel dingen goed instellen voor de installatie en updates en code schrijven om alles aan de praat te krijgen (het platform is volledig API driven). Voor onze test hebben wij de tool lokaal op macOS werkbaar gekregen, maar het live krijgen van een productie instance is naar onze mening erg ingewikkeld. Doordat de tool nog in zijn kinderschoenen staat is de documentatie ook redelijk summier en de informatie online schaars. Daarnaast ben je zelf verantwoordelijk voor het doorvoeren en testen van eventuele updates.
Onze conclusie
Op het eerste gezicht lijkt Wasabi voornamelijk geschikt voor bedrijven met een grote IT afdeling die server-side A/B testen willen opzetten. Er komt erg veel bij kijken wil je Wasabi goed gebruiken. Het lijkt vooral geschikt als framework voor bedrijven die zelf in-house een A/B test oplossing willen ontwikkelen, waarbij basis features zoals een management interface en verschillende A/B test opties standaard aanwezig zijn. Als we het vergelijken met GTMTesting.com (Testen via Google Tag Manager) is Wasabi een stuk ingewikkelder en werkt GTM onafhankelijk van de code en server van de klant. Naar onze mening is het gemakkelijker om bestaande client-side oplossingen (zoals GTM, Optimizely en Visual Website Optimizer) te gebruiken als je snel wilt beginnen met testen.
De testen zijn uitgevoerd door Data Driven Designer Roy Schieving en Analytics en Optimization Expert Hans Nauta.
