In onze enquête ‘status van CRO & A/B testen’ van dit kwartaal hebben we jullie, onze lezers, onder andere gevraagd welke technische A/B test oplossing(en) je gebruikt, waarom, welke andere tools jullie kennen en waarom jullie hier dan geen gebruik van maken. Uit de resultaten van deze CRO enquête werd duidelijk dat de volgende 10 oplossingen uit de hele lijst met mogelijkheden duidelijk het meest gebruikt worden, dan wel de meeste kans hebben om te groeien in marktaandeel (in volgorde van opsomming in het artikel – voor populariteit van de oplossingen: lees dit artikel):

• Google Optimize gratis / betaald
• A/B-testing script library through a TMS
• A/B-testing solution inside your CMS
• Convert
• VWO
• AB Tasty
• Adobe Target
• Sitespect
• Optimizely
• Home grown A/B-testing solution (server and/or client side)

Het bovenstaande rijtje van 7 commerciële tools is wellicht niet heel verrassend. Als je opzoek gaat naar een A/B test tool zijn deze tools vaak de eerste hits op Google. Wat echter vaak onduidelijk blijkt is welke tool en welke oplossing geschikt is voor welk CRO maturity niveau. Wij hebben daarom voor jullie uitgezocht welke tools een geschikte keuze kunnen zijn voor welk CRO niveau. Welke functionaliteiten heb je nodig als je begint met A/B testen tot en met welke oplossing je het beste uit de voeten kunt in een grote organisatie met CRO volledig in het DNA?

A/B-test oplossingen voor starters

In deze situatie heeft een organisatie gemiddeld één iemand die verantwoordelijk is voor CRO. Deze persoon doet de operatie zelf en/of ondersteunt een aantal enthousiastelingen om hierin zelfstandig te worden. Op dit niveau is er vaak veel enthousiasme voor CRO en bewijs-gedreven werken, maar mist de capaciteit / richting en budget om dit structureel op te zetten.

Google Optimize – gratis

Vorig jaar maakte Google bekend een gratis versie van Google Optimize te ontwikkelen. Ze gaven hierbij aan zich te richten op kleine ondernemingen die nog niet bezig zijn geweest met het optimaliseren van hun website. Google Optimize heeft een interface waar qua gebruikersgemak nog wel wat updates nodig zijn, maar waar je vanuit een hoofdmenu wel eenvoudig testen kunt aanmaken. Qua navigatie gemak helpt het wel mee dat de look en feel overeenkomt met de interface van andere tools die Google aanbiedt. Wel is er een maximum van drie conversie doelen en kun je niet meer dan drie testen tegelijk uitvoeren (in tegenstelling tot de betaalde versie)).

Google Optimize is een waardevolle tool voor kleine ondernemingen die weinig budget hebben en net starten met het optimaliseren van hun website. De tool biedt genoeg mogelijkheden om eenvoudige testen op te zetten. Webshops die willen starten met A/B testen kunnen zich bijvoorbeeld prima redden met deze tool. Maar door de beperkingen in het aantal accounts, het aantal websites waar testen op uitgevoerd kunnen worden en het aantal doelen die je kunt instellen, heeft Optimize beperkingen. Nog belangrijker is echter dat je erg goed moet weten wat je statistisch doet, omdat de Google Optimize reports nog niet te vertrouwen zijn.

A/B-testing script library in een TMS

Een andere bekende “poor man’s” oplossing voor A/B-testen is het gebruiken van een A/B-test script library in een Tag Management omgeving. Het geeft geen “drag & drop interface”, het script verdeeld je bezoekers slechts in A en B en geeft bezoekers van de B variant de aangepast code mee. Front-end development kennis is in dit geval dus gewenst, iets dat recent door Peep Laja in een “Don’t use drag and drop interfaces rant” overigens werd bepleit voor elke A/B-test – schrijf altijd je eigen code (een functionaliteit die door nagenoeg alle A/B-test tools wordt ondersteunt).

Er zijn vele A/B-test libraries beschikbaar voor binnen Tag Managementsystemen of gewoon direct voor op je website. AB Testguide lanceerde er zelfs 1 met een visueel stappenplan voor A/B-testen binnen Google Tag Manager. Wanneer je zelf niet de beschikking hebt over front-end development resources kun je deze afnemen bij specialistische A/B-test developers zoals Testing.Agency.

Het meten van resultaten van een A/B-test via een script binnen de Tag Management omgeving kan middels event tagging in de reeds geïmplementeerde Webanalytics oplossing van jouw website. Via de gratis significantie of bayesian calculators van AB Testguide kun je de resultaten van je A/B-test berekenen.

Let wel op dat deze technische oplossing van A/B-testen beperkt schaalbaar is – hoe meer testen je gaat draaien, hoe meer het de voorkeur heeft dat dit vanuit 1 unieke omgeving goed en stabiel kan worden beheerd.

A/B-testing solution inside your CMS

Verschillende Content Management Systemen hebben A/B-testing voor met name content en layout wijzigingen geïntegreerd. Denk aan de landingspagina software van Unbounce of het volledige pakket van SiteCore. Daarnaast bestaan er natuurlijk plugins van verschillende A/B-test software aanbieders voor de integratie van A/B-testen in content platformen zoals Drupal en WordPress.

Als jouw content management systeem reeds een A/B-test oplossing heeft, dan is dit ideaal om de eerste paar testen mee op te zetten. Je bent vaak iets beperkt in wat je kunt testen en hou er ook rekening mee dat je genoeg bezoekers hebt om mee te testen, maar het is een prima eerste stap in het bekend worden met A/B-testen. Zodra je verder groeit in volwassenheid zie je uit onze enquête resultaten dat de limiteringen van A/B-testen met een CMS te groot worden ten opzichte van wat dedicated oplossingen aanbieden.

A/B-test oplossingen van starters tot teams

Er is een dedicated team van CRO specialisten opgezet, of er staat een multidisciplinair CRO team. De kwantiteit van het testproces neemt toe en men wordt zich langzamerhand bewust van andere issues: het belang van een centrale library met alle inzichten en het verdiepen van de maturity op kennis en ervaring. Als je binnen dit niveau valt ben je niet opzoek naar een tool die de bank breekt en je overvalt met functionaliteiten die je nog niet zult gebruiken als je net begint te investeren in conversie optimalisatie. Wel moeten ze je de mogelijkheid bieden om met je mee te groeien als je jouw test output opschaalt. Deze tools zijn voor bedrijven die al wel investeren in conversie optimalisatie, maar die zoals elke volwassen CRO organisatie hun budget (75% of meer) vooral willen uitgeven aan mensen, vaardigheden, processen en methoden om een grotere impact en ROI te leveren.

Convert Experiments

Convert Experiments is een kleinere speler in de A/B-test oplossing markt die al wel langere tijd bestaat. Ze bieden multi-domein A/B en multivariate testen en tracking, development tools voor jQuery, JavaScript en CSS en uitgebreide rapporten. Convert heeft een WYSIWYG editor en is in het geheel goed vergelijkbaar met de gratis variant van Google Optimize, alleen zonder de beperkingen van het aantal simultane experimenten en het heeft een iets beter ontwikkelde user interface. Convert is daarentegen natuurlijk niet gratis.

VWO

Een soortgelijke tool is Visual Website Optimizer (VWO). Zij bestaan nog langer in de markt en waren de eerste veelgebruikte A/B-test tool in Nederland (in februari 2010 schreven we op webanalisten.nl al over hun komst naar de markt met een WYSIWYG editor). VWO is volgens ons recente marktonderzoek nog steeds marktleider in Nederland. De tool is een geschikte optie voor organisaties die behoefte hebben aan beginner- tot intermediate-level test opties.

De tool heeft een duidelijke en strakke interface waar je in een menu snel ziet welke testen je kunt aanmaken, ondersteund met duidelijke tutorials. Elke campagne genereert een rapport om je te laten zien hoe goed je pagina’s presteren, daarnaast maakt de optimalisatietool het mogelijk om bezoekersgedrag te analyseren aan de hand van heatmaps, surveys onder de bezoekers uit te zetten en reviews over je website te verzamelen. Hier onderscheiden ze zich duidelijk van Convert, VWO is een combinatie van analytics, A/B-testing, personalisatie en insights middels heatmaps en user feedback. Daarnaast is het natuurlijk een organisatie met meer dan 100 medewerkers, waardoor ook technische support goed geregeld is.

AB Tasty

AB Tasty is de Franse marktleider in A/B testen en na een aantal funding rondes aan het opschalen naar de hele wereld en Europa in het bijzonder met hun oplossing voor het optimaliseren en personaliseren van websites en mobiele applicaties. AB Tasty is goed vergelijkbaar als organisatie met VWO. Ze hebben ook meer dan 100 medewerkers en bieden daardoor goede support. Een voordeel is wel dat ze in Europa hun kantoren hebben. AB Tasty biedt ook een volwassen user interface en heeft net als VWO ook heatmaps geïntegreerd in de analyse omgeving – ze bieden hierbij ook screen recordings aan. Interessante opties die bij soortgelijke andere aanbieders niet worden aangeboden zijn de volwassenheid van de app testing oplossing en de personalisatie mogelijkheden, waarbij een widget library beschikbaar is voor onder andere notificaties, exit intent pop-ups en koppelingen met bijvoorbeeld een weer API.

Google Optimize – premium

Naast de gratis oplossing heeft Google Optimize ook een betaalde oplossing. Hier gelden geen limiteringen in het aantal simultane experimenten en er is een interessante personalisatie koppeling met audiences die je kunt aanmaken in Google Analytics (welke je ook gebruikt voor ad-targeting). De volgende 2 nadelen van de gratis versie gelden in deze betaalde oplossing ook nog: de user interface heeft nog wel wat updates nodig en de Google Optimize reports zijn nog niet helemaal te vertrouwen. Optimize is in de basis ook veel kostbaarder dan de andere 3 genoemde aanbieders in deze categorie (Convert, VWO en AB Tasty) maar heeft het voordeel dat de bezoekers limieten waarmee je vaak extra gaat betalen erg hoog liggen. Wanneer je echt heel veel bezoek hebt kan het, wanneer je puur een basis A/B-test en personalisatie oplossing zoekt, prijstechnisch interessant zijn om Google Optimize als optie eens mee te nemen.

A/B-test oplossingen van teams tot organisaties

Op dit niveau is elk product team zelfstandig aan het optimaliseren, waarbij het wordt ondersteund door het centrale CRO team dat de processen bewaakt en verbeterd en alle kennis centraal beheert. De organisatie bereikt het niveau waarbij de overkoepelende klantinzichten gaan leiden tot productinnovatie en nieuwe proposities. CRO is niet langer een silo binnen de organisatie (zoals in niveau 1), maar zit in het DNA van de organisatie.

Je kunt bediscussiëren of de genoemde tools in de vorige categorie ook geschikt zijn voor meegroei naar en gebruik op dit hogere niveau en dan zal dit zeker gelden voor VWO en AB Tasty (gezien ook de support mogelijkheden die zij bieden). Google Optimize moet zich hierin nog bewijzen in de toekomst.

Adobe Target

Target is de A/B-test en personalisatie oplossing van Adobe. Een kostbaar pakket, maar wanneer je organisatie volledig op het Abobe stack draait qua Content Management, Tag Management en Analytics een het een heel voor de hand liggende keuze. Hoewel de meeste oplossingen binnen Adobe nog niet ideaal zijn geïntegreerd omdat het een verzameling is van verschillende gekochte software oplossingen, worden ze wel steeds verder aan elkaar geknoopt. Dit is de laatste jaren vooral zichtbaar geworden als de Adobe Marketing Cloud. Adobe Target wordt vooral gebruikt door Adobe klanten. In de markt zie je wel Adobe klanten met andere A/B-test oplossingen, maar nagenoeg geen bedrijven met een ander CMS / Analytics stack met dan los Adobe Target als A/B-test en personalisatie platform.

Adobe Target is een tool waarmee je gepersonaliseerde web ervaringen kunt ontwikkelen en snel kunt starten met A/B testen en content targeting. De tool biedt een begeleide test en targeting workflow en framework met ook een WYSIWYG editor. Adobe biedt daarnaast een volwassen oplossing voor het A/B-testen binnen apps. Zodra je meer producten van Adobe afneemt, waaronder de predictive analytics achtige oplossing, wordt het interessant om met Target de juiste userflow aan te bieden aan de juiste bezoeker op basis van verwacht gedrag.

SiteSpect

SiteSpect is net zoals alle tools in deze categorie een kostbare oplossing en valt vooral op omdat het een technologisch andere type oplossing is vergeleken met alle andere genoemde software aanbieders. De andere aanbieders werken allemaal met een “client side library” waarbij de website wordt gemanipuleerd zodra deze is aangekomen in de browser van de bezoeker. Bij SiteSpect bevindt de oplossing zich in de echter binnen de hosting omgeving van de klant (het is dus een hardware oplossing) en wordt de website al gemanipuleerd voordat de website is aangekomen in de browser van de bezoeker. Sitespect biedt overigens ook een cloud oplossing waarbij ze als proxy fungeren tussen jouw webserver(s) en de browser van de bezoeker.

De oplossing van SiteSpect zorgt ervoor dat je je experimenten op een andere manier ontwikkelt. In plaats van te ontwikkelen bovenop de bestaande website vervang je onderdelen van de bestaande website. Dit vereist daardoor zonder meer coding skills binnen je organisatie (hoewel dat voor de andere oplossingen met WYSIWYG editors eigenlijk ook een must is – zie de eerder aangehaalde rant van Peep Laja). SiteSpect biedt interessante targeting en daardoor personalisatie mogelijkheden wanneer je alle bezoekers standaard via de Sitespect machine(s) laat lopen. Sitespect bleek uit de survey resultaten een duidelijk kwestie te zijn van deze oplossing past of niet bij je organisatie of juist wel.

Optimizely

VWO is nog steeds marktleider in Nederland qua aantal accounts, qua omzet vermoeden we echter dat Optimizely de marktleider is. Waar beide tools in het verleden nog 1 op 1 concurreerden voor dezelfde klanten, is VWO meer een totaalaanbieder geworden voor groot MKB en is Optimizely, ook door de vele funding rondes gegroeid naar een sales en support organisatie voor enterprise cq. veeleisende technische klanten. De pricing van beide oplossingen is nu dan ook heel anders. Optimizely kan in 1 adem mee in de prijscategorie van Adobe Target en SiteSpect.

Optimizely heeft de funding ook goed gebruikt voor product development. De tool bestaat uit een zeer volwassen en goed bruikbare user interface met vergaande A/B-test, Funnel test en personalisatie oplossingen (zoals ook product recommendations). Voor een volwassen optimalisatie organisatie is Optimizely een interessante aanbieder, ze zijn technologisch namelijk het meest ontwikkeld met SDK en API oplossingen. Hierdoor zijn er frameworks aanwezig voor nagenoeg elke standaard webcode taal, waardoor “Optimizely X” volledig geïntegreerd kan worden in de backend van klanten, web en mobile. Net zoals AB Tasty en VWO is Optimizely een grote organisatie waardoor support goed geregeld is.

Home grown A/B-testing solution (server and/or client side)

Wat organisaties als Microsoft, Facebook, AirBnB, Booking en Skyscanner gemeen hebben is dat behalve dat ze online experimenteren volledig in hun DNA hebben zitten, ze dit doen middels een eigen ontwikkelde oplossing. Zij gebruiken niet de software van de hier genoemde aanbieders. De eisen en wensen die deze organisaties hebben aan optimalisatie tools (naast volume, vooral aan de automatisering en analyse kant) zijn zodanig dat ze hun eigen oplossing ontwikkelden. Dit zijn nagenoeg altijd server side oplossingen (zoals SiteSpect) met soms client side add-ons (wat ook voordelen kan hebben i.v.m. server side).

Voordat je gaat nadenken over het ontwikkelen van een eigen A/B-test oplossing realiseer je dan goed dat het ontwikkelen en het onderhoud aan deze oplossing een volledig dedicated IT team verlangt. Heb jij de juiste specialisten in huis en weet je deze vast te houden in je organisatie? Ditzelfde geldt voor de data scientists die je de functionaliteiten van de tool laat uitwerken. Weet je hen vast te houden? Ben jij een bedrijf dat vergelijkbaar is met AirBnB, Facebook of Booking?

Er bestaat tegenwoordig ook een tussenoplossing. Net zoals er veel libraries beschikbaar zijn voor het A/B-testen binnen Tag Management Oplossingen, zijn er ook libraries voor server side testen. De oplossing van Facebook (zonder user interface) is gewoon online te downloaden en Intuit heeft haar Wasabi server side platform inclusief user interface recent als open source software uitgebracht. Let wel op dat de eisen aan een dedicated IT organisatie en data science team voor onderhoud aan deze eigen oplossingen gewoon blijven gelden.

Conclusie

Kies de tool die bij jouw organisatie op dit moment past, een tool die nog even mee kan groeien, maar wees ook niet bang om weer over te stappen zodra je volwassener wordt in online experimenteren. We hopen dat je door het uitlichten en beschrijven van bovenstaande 10 meest gebruikte A/B-test oplossingen in Nederland in staat bent om betere keuzes te maken en 2 of 3 oplossingen uit te nodigen, dan wel goed te bekijken voordat je jouw keuze maakt. En blijf onthouden: de tool is belangrijk – maar dit zou echt maximaal 25% van je optimalisatie budget moeten “opeten”, de rest van het budget moet echt naar support / goede mensen die met die tool het verschil maken.

Dit artikel is geschreven op basis van ons onderzoek naar de status van CRO en A/B-testen in Nederland, aangevuld met de kennis van de CRO specialisten van Online Dialogue die met elk van deze 10 genoemde oplossingen hebben gewerkt.