Een onderzoek naar ervaring, onderzoeksmethoden, teamsamenstelling, successen en software gebruik in de wereld van Conversie Optimalisatie en A/B-testen.

Webanalisten.nl heeft in april van dit jaar een onderzoek uitgevoerd naar de status van de Nederlandse CRO markt. Dit om inzicht te krijgen in de methodes, tools en resultaten van optimalisatie specialisten. In totaal zijn er in de onderzoeksperiode van 2 weken 480 deelnemers gestart met de enquête, wat heeft geleid tot 142 gekwalificeerde respondenten. Om constant op de hoogte te blijven van de ontwikkelingen en snelle groei van de professionele CRO markt zullen we dit onderzoek ieder half jaar herhalen. In dit artikel de learnings van dit eerste onderzoek.

Wie zijn de respondenten?

De respondenten lijken een goede afspiegeling van de optimalisatie markt met een mooie verdeling over grote (35%) en kleine bedrijven (30%), klantzijde inclusief freelancers (69%), bureauzijde inclusief freelancers (25%), specialisten (71%) en managers (29%). De klantzijde onder de geënquêteerden is gezamenlijk verantwoordelijk voor 6 miljoen euro aan A/B-test software (2,7 miljoen) en CRO consultancy (3,3 miljoen) uitgaven per jaar.

De gemiddelde leeftijd van de respondenten ligt iets hoger dan verwacht, namelijk op 34,5 jaar (55% van de deelnemers is tussen de 29 en 37 jaar oud). Dit zien we ook terug in de groep “uitvoerende experts”. Hiervan geeft 60% aan zichzelf te zien als “senior expert”. De enquête is dus bovenmatig ingevuld door mensen met ervaring binnen conversie optimalisatie, maar dat zien we als een positief signaal ten aanzien van de kwaliteit van de antwoorden en de beoordeling van de verschillende softwarepakketten in dit onderzoek.

Een jong vakgebied, ervaren medewerkers

De resultaten van de survey bevestigen dat CRO nog maar een jong vakgebied is. Aan klantzijde zijn de deelnemers van het onderzoek pas net iets meer dan 3 jaar met CRO bezig, de bureaukant heeft 1 jaar meer ervaring. Opvallend is dat de CRO medewerker in onze enquête, die gemiddeld 11 jaar werkervaring heeft, nog 1 jaar meer CRO ervaring heeft dan de bedrijven die aan CRO doen. Enerzijds zal dit kunnen komen doordat dat er veel wisseling is van (ervaren) CRO personeel bij bedrijven onderling, maar ook dat deelnemers de werkzaamheden bij hun bedrijf pas als CRO bestempelen als er vanuit een team gewerkt wordt. CRO valt overigens over het algemeen onder de marketing afdeling:

Wat is de status van CRO?

Als we kijken daar de manier waarop CRO in een bedrijf gerealiseerd wordt zien we dat 32% van de respondenten aan de klantzijde maar 1 persoon in dienst heeft die verantwoordelijk is voor alle optimalisatie werkzaamheden. 20% van de respondenten werkt in een team van conversie specialisten en 30% werkt in een multidisciplinair team. 15% van de bedrijven heeft een opzet met meerdere teams, of zorgt dat iedereen binnen het bedrijf met optimalisatie bezig is. Ondanks dat een groot deel nog individueel te werk gaat en het vakgebied nog jong is werken toch al veel bedrijven met een team opzet aan Conversie Optimalisatie (65%).

Bij de bureaus die deelnamen aan de enquête ligt het aantal CRO specialisten gemiddeld op 5. Bij dit onderdeel werden veel lage aantallen genoemd maar ook een aantal uitschieters naar 15 mensen. Er zijn op dit moment overduidelijk meer mensen aan klantzijde bezig met CRO dan aan bureauzijde.

Veel testen, vooronderzoek kan beter

Uit de resultaten blijkt dat men gemiddeld per bedrijf 6 A/B-testen per maand uitvoert. Bij bureaus ligt dit aantal net iets hoger op 7,6 A/B-testen per maand. Als input voor de hypotheses van deze testen gebruikt 81% van de respondenten regelmatig of altijd webanalytics data. Dit betekent dat 19% hier niet altijd of zelfs nooit gebruik van maakt! Ongeveer de helft van de bedrijven gebruikt als input ook surveys, heatmaps en voorgaande experimenten. Alle andere mogelijke onderzoeksmethoden worden aanzienlijk minder vaak gebruikt.

Bureaus gebruiken de bovengenoemde methoden vaker (+20 tot 50% meer, met uitzondering van usertesting, dat wordt door bureaus minder gebruikt). Dit is een interessante waarneming omdat uit deze enquête blijkt dat bedrijven die bureaus inhuren beter scoren in het aantal experimenten met “winnaars” vergeleken met bedrijven die dat niet doen.

Succesvolle testen, matige implementatie

Gemiddeld leveren 42% van alle experimenten “winnaars” op onder de deelnemers aan dit onderzoek. Dit aantal is voor klantzijde en bureaus nagenoeg gelijk. Opvallend is wel dat bedrijven die gebruik maken van bureaus een succespercentage hebben van 44% (zonder bureau ligt dit op 41,5%). De agencies lijken voor een kleine uplift te zorgen in winnaars, waarbij de kanttekening gemaakt moet worden dat deze bureaus volgens de enquêteresultaten voornamelijk werkzaam zijn bij klanten die veel testen en waar het om die reden ook lastiger is om winnaars te vinden.

Ondanks dat de testen in veel gevallen succesvol zijn, worden de resultaten van de testen nog te weinig doorgevoerd. Gemiddeld wordt 52% van de learnings binnen 2 maanden geïmplementeerd. Bij 32% van de bedrijven wordt slechts 25% of minder van alle learnings binnen 2 maanden geïmplementeerd! Bedrijven die met bureaus werken blijken overigens ook succesvoller in de implementatie van learnings: er worden 25% meer successen geïmplementeerd binnen 2 maanden dan de bedrijven die zonder bureaus werken.

Welke tools worden er gebruikt?

Workflow tools & learnings opslag

De resultaten laten duidelijk zien dat agencies in 85% van de gevallen een methode hebben voor A/B-test prioritering. Bij klantzijde is dit slechts 54%. Workflow tools worden minder vaak gebruikt: 65% voor agencies en 46% aan de klantzijde. Het opslaan van learnings uit A/B-testen kent een zelfde verhouding. Op dit gebied is er dus zeker nog winst te halen bij online experimenten. Bedrijven die prioriteren en learnings opslaan, al dan niet met een bureau, hebben volgens onze enquêteresultaten gemiddeld ook een hoger percentage winnende testen.

Wat opvalt is dat voornamelijk standaard workflow tools (niet specifiek voor CRO) populair zijn. Dit betreft met name Jira en Trello. Basecamp en Asana zijn wel bekende tools, maar worden aanzienlijk minder vaak gebruikt. Jira is vooral erg populair aan klantzijde (38% gebruikt dit, tegen 15% aan agency kant), Trello is ook populair aan de agency kant (30% gebruikt dit, idem 30% aan klantzijde). Alle specialistische CRO workflow tools stoeien met 80% of meer onbekendheid aan klant en bureauzijde, alleen Effective Experiments is hierop een uitzondering qua bekendheid en vooral gebruik (12% van de ondervraagden gebruikt deze tool al).

A/B-test tools: VWO en Optimizely zijn duidelijk de marktleiders

Als we kijken naar de gebruikte A/B testing platformen zien we dat VWO en Optimizely samen 59% van de markt bezitten (37% gebruikt VWO, 22% Optimizely). Naast inhouse oplossingen (waarbij men met een eigen gebouwde A/B-test oplossing werkt) is Google Optimize (gratis en premium bij elkaar) met 16% al de grootste uitdager, hoewel de helft van deze groep nog een andere software oplossing als meest gebruikte tool heeft (1 op de 4 bedrijven gebruikt op dit moment 2 tools).

Dit Google Optimize marktaandeel is al groter dan alle andere tools (naast Optimizely, VWO en de inhouse en script library oplossingen) samen. Aan de agency kant geeft 65% aan al klanten te hebben die Google Optimize free gebruiken.

Opvallend is dat van de meest bekende oplossingen de beide inhouse oplossingen (waarbij server side oplossingen de wens zijn en client side oplossingen nog de overhand hebben) en Google Optimize, vooral de Free versie, ook het hoogste percentage “Not for us” hebben binnen de ingevulde enquêtes. Deze oplossingen zijn aanzienlijk bekender dan andere oplossingen, maar blijkbaar niet voor iedereen de juiste match.

Uitdagers in de A/B-test softwaremarkt: wie gaat er groeien?

Op basis van de gegeven van deze enquête zijn, naast Google Optimize, de uitdagers in de markt enerzijds 2 oudgedienden – Adobe en Sitespect en anderzijds 2 nieuwkomers – Convert en AB Tasty. Die laatste twee hebben vooral nog te maken met het feit dat 50% ze niet kent, maar beide hebben ze veel groeipotentie. SiteSpect en Adobe zijn bekender, maar veel deelnemers geven aan dat dit niet de juist tool voor hen is. Bij AB Tasty en Convert is het deel van de geënquêteerden dat de tool als mogelijke optie ziet groter, waardoor hun marktpotentie, ondanks hun nog relatieve onbekendheid, al bijna even groot is als dat van SiteSpect.

Er valt nog wel wat winst te halen over tool happiness. In principe doet geen enkele tool het super goed (op een 1 tot 5 ster schaal is de max een 3,7), maar Adobe, Google Optimize Free en de Server side inhouse oplossingen hebben de meest negatieve beoordelingen, hoewel gezegd moet worden dat het aantal respondenten hier erg klein is. Optimizely, Google Optimize Premium en een eigen script oplossing van Tag Management scoren qua tevredenheid het hoogste.

Op basis van alle gegevens uit de enquête verwachten wij dat het komende jaar Optimizely, Google Optimize, eigen inhouse oplossingen, Convert en AB Tasty het snelste gaan groeien in marktaandeel. We gaan het meten over een half jaar en we zullen dan ook zien of meer dan 28% zoals nu zijn A/B-test oplossing ook gebruikt voor personalisatie.