In mei 2017 publiceerden wij de resultaten van ons onderzoek naar de status van CRO en A/B-testen in Nederland. Afgelopen december hebben wij een vervolgonderzoek uitgevoerd waarbij we specifiek hebben gekeken naar de verschuiving in de voorkeuren voor A/B-test software en workflow tools en het gebruik hiervan. De resultaten van dit onderzoek lees je hier.

Maar ten eerste natuurlijk dank aan iedereen die heeft deelgenomen aan het onderzoek. In totaal zijn er, in de onderzoeksperiode van wederom 2 weken, 357 deelnemers gestart met de enquête wat heeft geleid tot 124 gekwalificeerde respondenten die het onderzoek hebben afgerond (tegen 142 gekwalificeerde respondenten in het vorige onderzoek).

Wie zijn de respondenten?

We hebben dit maal met name gekeken of er een andere samenstelling is onder de respondenten sinds de vorige meting, omdat we bij het analyseren van dit onderzoek met name ook kijken naar de verschuivingen sinds het vorige onderzoek.

In absolute aantallen hebben minder mensen meegedaan vanuit de kleinere bedrijven. De absolute deelname vanuit de andere type bedrijven is nagenoeg gelijk, wat in de procentuele verdeling zorgt voor een stijging in het aandeel van de middelgrote en grotere bedrijven in de resultaten van dit onderzoek van december 2017.

De verhouding managers (27%) en specialisten (73%) is nagenoeg gelijk gebleven, alleen binnen de specialisten is de vertegenwoordiging van “medior” experts gegroeid ten kosten van “junior” en “senior” experts. Nu is de groep junioren en medioren samen even groot als de groep senioren, terwijl dit in in april een groep was die zich voor bijna 60% senior noemde.

In de vorige enquête werkte 69% aan “klantzijde” (bij een merk en niet bij een bureau of leverancier), nu is dit aandeel gestegen naar 75% (het zijn dus in absolute zin vooral minder bureaumedewerkers en leveranciers die de enquête hebben ingevuld). De respondenten werken nog steeds overduidelijk vooral voor marketing, maar er is een groei zichtbaar in respondenten die werken voor sales of een specifieke CRO afdeling.

De gemiddelde leeftijd van de respondent is ditmaal 35,3 jaar, waarmee er een stijging is van 0,8 jaar ten opzichte van de vorige enquête (welke 0,6 jaar geleden werd afgenomen). Hun gemiddelde werkervaring is toegenomen van 11 naar 11,7 jaar en het gemiddeld aantal jaar CRO ervaring per respondent is gestegen van 4 naar 4,7 jaar. De groep is qua ervaring dus meegegroeid met de maanden die voorbij zijn gegaan, hoewel er ook respondenten zijn met 0 of 1 jaar CRO ervaring in de nieuwe pool. Degenen die zij vervangen lijken met name de mensen te zijn die in de vorige enquête ook al weinig ervaring hadden.

In totaal is er een geschatte 62% overlap in respondenten die in beide enquêtes deel uitmaakten van de resultaten (op basis van opgegeven emails voor de congreskaart verloting onder de deelnemers van beide onderzoeken. Deze week maken we de winner daarvan bekend trouwens, dus je maakt nog kans!).

A/B-test tools: het marktoverzicht

Op basis van onze gemiddelde puntentelling zoals we deze ook een half jaar geleden hebben gebruikt, is VWO nog steeds de leidende tool, hoewel de voorsprong op Optimizely snel afneemt. Dit komt overigens meer door de krimp van VWO dan door de groei van Optimizely. Samen zijn beide aanbieders nog steeds goed voor een krappe meerderheid in de meest gebruikte A/B-tools.

De interessante verschuivingen zitten natuurlijk in de details en de vergelijking met het vorige onderzoek. Als eerste de veranderingen ten aanzien van de “market awareness” – in hoeverre kent de respondent een tool – wie heeft de grootste absolute groei in bekendheid over de afgelopen periode?

AB Tasty is hier de grote winnaar, hun bekendheid is gegroeid van 40% naar 66%. Over het algemeen lijkt de “awareness” van de respondenten over tools toegenomen. De lichte daling bij VWO en Optimizely valt natuurlijk ook te wijten aan het grote bereik dat zij al hadden. Google zit nu met haar premium (360) en free aanbod op dezelfde bekendheid als beide marktleiders. Opvallend is ook de toename van bekendheid met zelfgebouwde oplossingen en A/B-testen binnen het Content Management Systeem.

Nu brengt naamsbekendheid natuurlijk niet direct verschuivingen in de markt qua gebruik. De meeste softwarecontracten lopen langere tijd door. Wat we hebben vergeleken is de absolute procentuele stijging bij de respondenten in tools die zij gebruiken en tools die ze heel graag zouden gebruiken:

Dit geeft een voorspelling voor de bewegingen in de komende maanden. VWO lijkt de grote verliezer te worden (na afgelopen half jaar al marktaandeel te hebben verloren in Nederland). Daarnaast is de interesse in Google Optimize Premium ook afgenomen, hoewel het marktaandeel nog klein is. De snelste groeiers zijn de A/B-test oplossing in het CMS, AB Tasty en A/B-testen met een eigen library binnen het tag management systeem. Zijn dit de oplossingen die het marktaandeel van VWO overnemen? Optimizely lijkt immers te stabiliseren qua groei.

Een eigen server side oplossing lijkt toch minder gewenst dan een half jaar geleden. Opvallend is de groei in de tevredenheidsscore over de meest gebruikte A/B-test tool binnen de organisatie – deze steeg van gemiddeld een 3,13 (op een schaal van 1 tot 5) naar 3,44. Dit wordt deels gewoon veroorzaakt door de huidige leiders qua marktaandeel VWO en Optimizely die een betere waardering kennen (of zijn de minder tevreden klanten nu overgestapt?) en deels door de oplossingen die gestegen zijn in marktaandeel (die een gelijke gemiddelde waardering hebben als vorige keer). Het percentage respondenten dat de A/B-test oplossing ook gebruikt voor personalisatie is licht gedaald van 28% naar 25%.

Workflow tools: het marktoverzicht

Goed nieuws – workflow tool gebruik, test prioriteringsmodellen en het opslaan van learnings werd al veel gedaan door agencies, maar aan klant-/merkzijde is nu ook een grote stijging zichtbaar. Workflow tool gebruik is gestegen van 46% naar 60% en het gebruik van een A/B-test prioritering methodiek is gestegen van 54% naar 69%. Het opslaan van onderzoek en A/B-test learnings ligt hier nu op 58% (42% doet dat dus steeds nog niet!).

Jira en Trello zijn nog steeds overduidelijk marktleider en in gebruik alleen maar groter geworden de afgelopen maanden. De snelste stijger is echter de specialistische tool Effective Experiments:

Als we kijken naar “market awareness” dan is hier ook een groei te zien in bekendheid van de meest genoemde tools, het gemiddelde awareness niveau van de respondent is hoger dan een half jaar geleden. De snelste groeiers zijn Effective Experiments en Asana, waarbij Effective Experiments als eerste van de specialistische tools nu qua bekendheid in de buurt komt van de standaard projectmanagement tools. Niet opgenomen in het overzicht is het gebruik van (enkel) spreadsheets, dit is een stabiel percentage van net geen 10% (afkomstig uit de open antwoorden).

Hoewel Asana qua bekendheid een mooie absolute groei heeft meegemaakt is dit niet de tool of choice van de respondenten. Zij zijn zelfs de grootste daler. De toppositie wordt in onderstaande groei overzicht ook ingenomen door Effective Experiments, hoewel Jira en Trello ook snel groeiden is het gat kleiner geworden en vooral de afstand groter met de andere specialistische tools. Een oudere projectmanagement oplossing zoals Basecamp heeft Effective Experiments ondertussen ver achter zich gelaten.

Tot slot

De lijsten zijn slechts de resultaten van ons onderzoek, een weergave van de markt nu en de webanalisten.nl community in het bijzonder. Hoewel we denken een goede afspiegeling van de markt zijn (ook op basis van marktaandeel cijfers van andere externe bronnen), zal er een bias aanwezig zijn ten aanzien van marktbekendheid en voorkeur voor bepaalde tools. Het wil niet per definitie zeggen dat de nummer 1, of de snelst stijgende tool, de tool is die het beste bij jouw organisatie past. Gebruik deze inzichten als handvat, maak eens kennis en kies voor de oplossing die past qua requirements, budget en cultuur.

Help je over 6 maanden weer mee met de 2018 status update? Dan gaan we weer dieper in op het aantal experimenten, het aantal winnaars, de gebruikte vooronderzoeksmethodieken en natuurlijk nemen we weer een update van toolgebruik mee.