In de tool overview gepubliceerd op Webanalisten.nl werd AB Tasty beschreven als the next best tool voor A/B testing. AB Tasty is de Franse marktleider in A/B testen en is na een aantal funding rondes snel aan het opschalen met hun oplossing voor het optimaliseren en personaliseren van websites en mobiele applicaties. Dat succes wilde ik met eigen ogen zien.

Om de tool goed te kunnen beoordelen heb ik van begin tot eind een A/B test opgezet en geanalyseerd. Ik heb de tool getest op gebruiksvriendelijkheid en het aanbod van functies.

Een duidelijk testoverzicht

Als je inlogt in de tool krijg je een overzicht te zien met alle testen die tot nu toe aangemaakt zijn. Dit is een prima overzicht, maar uiteraard zijn er altijd verbeterpunten. Zo is niet heel goed zichtbaar welke testen live staan en welke niet en zorgt de hoeveelheid iconen voor verwarring. Er zijn 5 iconen waarmee je verschillende acties kunt ondernemen bij een test: edit, report, duplicate, archive, delete. Als je de iconen voor het eerst ziet, is het lastig om in één keer te begrijpen wat er mee bedoeld wordt. Daarnaast staan ze erg dicht bij elkaar en staat de delete knop gevaarlijk dichtbij de overige buttons.

Wat wel echt een pluspunt is, zijn de tags die je per experiment kunt toekennen. Je kunt hier bijvoorbeeld de gebruikte persuasion techniek toevoegen, zodat je achteraf makkelijk alle testen met dezelfde technieken terugvindt.

Simpel en snel je testen aanpassen, ook als ze live staan

Met behulp van de code editor kun je eenvoudig eigen javascript code toevoegen aan je testvariatie. Mocht je een fout maken in je code, geeft de editor ook handig aan waar en welke fout gemaakt is. Daarnaast is het fijn dat je in A/B Tasty ook bij lopende A/B testen de code in kunt zien en deze kan aanpassen. Bij sommige A/B tools (zoals Google Optimize) moet je in het geval van een aanpassing een test volledig stopzetten, dupliceren, aanpassen en opnieuw live zetten.

Ook het opzetten van een redirect is eenvoudig met uitgebreide features zoals het behoud van url parameters. Tot slot is het makkelijk gemaakt om te schakelen van Editor Mode en naar Interactive Mode, om zo te navigeren naar de juiste pagina op een website of specifieke interactie elementen als overlays te tonen. Af en toe blijft de editor hangen in het laden van een pagina, en is het nodig de pagina te refreshen om uiteindelijk de Editor Mode correct te zien.

Op naar de resultaten

Als je vervolgens op één van de testen doorklikt naar de reports, openen de resultaten. Dit gebeurt in een nieuwe tab, wat ik persoonlijk handig vind. Zo kun je meerdere testen naast elkaar zien en altijd snel terug naar de overzichtspagina. In tegenstelling tot de overzichtspagina worden de iconen op de resultatenpagina worden de iconen wel gecombineerd met tekst waardoor het gelijk veel duidelijker is wat de acties betekenen.

Ook op de resultatenpagina zijn er een paar dingen die mij opvallen. Ten eerste was mij niet direct duidelijk of de test nog live stond of niet. Deze informatie is wel aanwezig (Test status: Active), maar kan naar mijn idee wel wat duidelijker worden weergegeven. Dit is volgens mij belangrijke informatie, het is namelijk niet handig om conclusies te trekken uit een test die nog niet afgerond is. Wat ik daarnaast mis, is het resultaat voor de belangrijkste KPI. Als je doorklikt naar de reporting pagina, zie je niet gelijk het resultaat.

Als je het tabje met “Clicks main button” aanklikt openen de resultaten van die specifieke button. Het is gelijk duidelijk hoeveel bezoekers en conversies er in beide varianten zijn. De weergave over de tijd is ook erg handig, daar mist alleen wel de toelichting per as. Ze tonen het conversiepercentage, maar dit wordt niet genoemd. Als laatste vind ik het erg fijn, ondanks dat het niet heel goed zichtbaar is, dat de tool aangeeft wanneer er te weinig data in de test zit. Dit is belangrijke informatie en moet volgens mij altijd in beeld staan. Het voorkomt dat bedrijven conclusies trekken op basis van te lage aantallen.

Behalve de data van de A/B test heeft AB Tasty ook standaard Heat Maps van beide varianten. Dit is erg handig, om naast kwalitatieve data ook wat kwantitatieve input te krijgen. Er zijn nog weinig tools op de markt die dit binnen één pakket aanbieden.

We say oui to AB Tasty

AB Tasty is een uitgebreide tool met veel verschillende mogelijkheden. Er zijn een paar kleine puntjes die op UX gebied iets verbeterd kunnen worden, maar in vergelijking met andere AB test oplossingen bieden ze de juiste features met alle relevante informatie. AB Tasty biedt overigens nog veel meer dan wat ik heb gebruikt voor deze kleine test. Ik ben in ieder geval enthousiast en zal in de toekomst graag meer gebruik willen maken van deze tool.

Ik ben erg benieuwd naar jullie ervaringen zijn met AB Tasty, dus deel ze vooral!