Niels Basjes van Bol.com presenteerde tijdens het Webanalytics Congres een case over het verbeteren van de relevantie van de zoekresultaten (naar aanleiding van een zoekopdracht) en het A/B testen met de productencatalogus van Bol.com.

Elke zoekopdracht is een suggestie voor een nieuwe

Bol.com heeft de zoekmachine enorm verbeterd. Dit komt met name door het inzicht dat elke zoekopdracht een mogelijke suggestie is voor een volgende zoekopdracht. Zij slaan de resultaten van de zoekopdrachten op en gebruiken deze resultaten wanneer een bezoeker een soortgelijke zoekopdracht doet.

Goed voorbeeld was de dood van Whitney Houston. Er waren maar weinig bezoekers die iets van haar zochten voordat ze dood ging. Na haar dood zochten er veel meer mensen op Whitney Houston, waardoor in een razend tempo de suggestie ‘Whitney Houston’ werd gedaan, wanneer je alleen al de ‘W’ in de zoekbalk zette. Een ‘normale’ zoekmachine zou geen rekening hebben gehouden met de zoekresultaten uit het (korte/lange) verleden en zou bijvoorbeeld gewoon alle resultaten oplopend sorteren van ‘WA’ tot ‘WZ’, maar door het gebruik van de resultaten van vorige bezoekers kwam heel snel het meest relevante resultaat bovenaan te staan.

De ontwikkeling van het zoekmechanisme heeft Bol.com steeds verder ontwikkelt, waardoor, onder andere, er geen producten meer als suggestie worden gegeven die niet bij Bol.com te koop zijn en doordat gelet wordt op spelling. Dit resulteert uiteindelijk in meer verkoop.

Functionaliteit A/B testen in plaats van vorm

Het tweede deel van de presentatie van Niels ging over het testen met de catalogus functionaliteit (daar kom je na je zoekopdracht). Niels zijn mening is dat A/B testen gaat om de vorm maar niet zozeer om betere inhoud. Dat betwijfel ik, aangezien je met de meeste pakketten ook de inhoud kunt aanpassen (en dus kunt testen). Waar Niels op doelde, was het testen met de functionaliteit, waardoor uiteindelijk andere inhoud (vanuit de gewijzigde functionaliteit) getoond wordt om te kunnen bepalen welke inhoud relevant is.

Zo kan er bijvoorbeeld getest worden wat er gebeurt wanneer je bepaalde resultaten uitsluit bij het zoeken in de catalogus. Neem als voorbeeld Justin Timberlake. Wanneer je op zijn naam zoekt, krijg je als ‘meest relevante’ resultaten twee DVD’s (Bad Teacher en The Social Network), maar is dit ook uiteindelijk wel écht het meest relevant voor de bezoeker? Nee: wat blijkt, er worden meer CD’s van Justin verkocht dan DVD’s. Het systeem dat Bol.com heeft gebouwd biedt Bol.com de mogelijkheid om deze ‘relevantie’ te beïnvloeden. Hierdoor is het mogelijk om, wanneer er gezocht wordt op Justin Timberlake, niet de DVD’s, maar de CD’s bovenaan te zetten.

Maar Bol.com: Voor wie is het nou relevanter?

Wat ik me afvraag (n.a.v. de suggesties in de zoekbalk) is of deze methode wel écht relevantie brengt voor de bezoeker, want: aan DVD’s wordt nu eenmaal meer verdient, dus is het voor de verkoper van Bol.com het ‘meer relevant’ om de DVD’s te ‘pushen’. Immers, meer DVD’s = meer verdienen. Wanneer je de technologie van de zoeksuggesties ook zou doorvoeren binnen de catalogus zou je (naar mijn mening) meer relevantie voor de bezoeker brengen (dan voor Bol.com). De tegenstrijdigheid blijkt ook uit bovenstaand screenshot: in de suggesties staat ‘Muziek’ boven ‘DVD’s’, maar in de resultaten zie je toch eerst de DVD’s.

Al met al een mooie presentatie over het bieden van meer relevantie binnen de interne zoekmachine, maar het laat ook duidelijk zien dat er nog altijd een strijd is tussen de belangen van Bol.com en die van de klant. Blijft lastig 🙂