Ondanks dat het enorm veel waardevolle informatie oplevert zien we dat bandbreedte calculaties nog veel te weinig worden toegepast in CRO. Als je een volwassen en bewijs gedreven CRO programma wilt leiden dan is de berekening van je bandbreedte onmisbaar. Samen met mijn collega’s heb ik voor jullie op een rijtje gezet waarom het belangrijk is om een bandbreedte calculatie te doen voordat je begint met A/B testen (in de eerste fase van het CRO proces).
Waarom doe je een bandbreedte calculatie?
Bandbreedte is in principe je test potentie doorberekend over het hele jaar. De berekening geeft je een hoop informatie over de manier waarop je site is ingericht, hoe je bezoekers door het jaar heen de site gebruiken en dus hoe je het beste je testen kunt organiseren. De bandbreedte calculatie geeft je antwoord op de volgende vragen:
Welke pagina zorgt voor de hoogste impact?
Ten eerste kom je erachter welke pagina’s geschikt zijn om op te testen en welke pagina’s de meeste impact zullen hebben. Een bandbreedte calculatie is een door data onderbouwde manier om te bepalen op welke pagina’s het wenselijk is om te testen (in de meeste gevallen zijn dit de plekken waar het meeste geld te verdienen is).
Welk effect moet er per pagina behaald worden?
Naast de rangschikking van de pagina’s op impact krijg je ook inzicht in het minimale benodigde effect per pagina. Dit is een goede maatstaf voor de grootte van de aanpassing in de variant. Is het minimale benodigde effect voor een pagina laag? Dan kun je met een kleine aanpassing een gedragsverandering met zekerheid herkennen. Is het minimale benodigde effect hoog? Dan moet je in de variant een grote aanpassing maken om met zekerheid een gedragsverschil in de data terug te zien.
Welke testen krijgen voorrang?
Binnen grote bedrijven komen er regelmatig verzoeken vanuit andere afdelingen om bepaalde onderdelen op een site te A/B testen. Ondanks dat het fantastisch is als het gehele bedrijf aan de slag gaat met CRO en input levert voor testen, zorgt een tekort aan kennis er vaak voor dat vragen niet relevant zijn. De bandbreedte calculatie helpt bij het prioriteren van de pagina’s waarop je wilt testen. Hij onderbouwt waarom een bepaald idee afgewezen wordt en de andere niet.
Haal ik alles uit mijn testen?
Daarnaast laat de bandbreedte calculatie ook zien of je de volledige test potentie benut. Je kunt namelijk het aantal testen dat je hebt gerealiseerd, afzetten tegen de bandbreedte (het maximaal haalbare aantal testen) en daar doelen aan ophangen.
Hoe lang draai ik mijn testen?
Tot slot laat de bandbreedte calculatie per pagina type zien hoeveel weken een test moet lopen en wat de uplift is die je moet behalen. Deze pagina types zijn gerangschikt op basis van extra potentiële omzet per pagina type.
Een bandbreedte calculatie voorkomt een hoop valkuilen
Door het berekenen van je bandbreedte kun je een hoop errors voorkomen die anders voor problemen kunnen zorgen bij het behalen van je businesscase of het verbeteren van je CRO programma in het algemeen. Zonder dat je weet wat de minimale impact bij een bepaalde pagina is loop je bijvoorbeeld het gevaar dat er te weinig uplift en conversies zijn en je dus niet genoeg data hebt aan het einde van je test. Ook kan een te korte test zorgen voor te weinig bezoekers en data waardoor je testresultaten niet overtuigend zijn (ze hebben een te lage power). Te weinig data maakt het onmogelijk om een variant te identificeren als winnaar of verliezer.
De voorwaarde voor een succesvol testprogramma
Net als een goede technische check is de bandbreedte calculaties een voorwaarde voor je begint met testen. Eerst wil je weten of de data correct is en dat alles gemeten wordt zodat je het gedrag goed in kaart kan brengen. Daarna ga je berekenen op welke pagina’s, hoe lang en bij welke (minimale) uplift je moet testen. Zo kun je de pagina types rangschikken op basis van extra potentiële omzet. Het is de basis voor (datagedreven) testen en daarom, volgens ons, onmisbaar in een succesvol CRO programma.
