Van de week las ik het artikel van Ton waarin hij onder andere de vraag stelde of uitgebreide multivariatie testen zinloos zijn. Nu was ik bezig om te reageren op zijn artikel, maar kwam ik tot de ontdekking dat het verhaal erg lang werd, met als conclusie: ik maak er een apart artikel van. Lekker overzichtelijk en met nieuwe onderwerpen.

Ton, leuk artikel! Ik ben het eens met je verhaal, de metafoor van de witgoedverkoper sluit goed aan op de uitdaging die we online te pakken hebben. Ik wil twee dingen aan je verhaal toevoegen:

1. Het continu blijven testen, juist om de externe invloeden te ondervangen
Het voorbeeld dat je aandraagt met betrekking tot de externe invloeden van buitenaf onderschrijf ik helemaal. Ook ik heb nagedacht hoe dit ‘probleem’ verholpen zou kunnen worden. Mijn oplossing is als volgt, let wel, ik leg hem op de meest basic manier uit, waarbij ik geen rekening houd met vervolgtesten, segmentaties, etc.
Je draait een multi variatie test. Deze test komt met een winnaar. Deze winnaar zorgt dat het conversiepercentage stijgt van 1% (de control versie, huidige versie) naar 2%. Relatief gezien is dit een stijging van 100%. Je besluit dat deze winnaar live moet blijven staan. Mijn idee is om altijd de control versie van de pagina voor een bepaald percentage, bijvoorbeeld 5 of 10%, mee te laten draaien (of in elk geval voor enkele maanden na het einde van de test) zodat je altijd de resultaten kunt blijven vergelijken. Hierdoor kan je de invloed van externe factoren beter verklaren omdat je altijd de resultaten van én de winnaar én de control versie kunt bekijken en vergelijken. Zorg daarom voor een stabiele factor (in dit geval de control versie) ook na je testperiode.

Voorbeeld
Conversiepercentages ten tijde van de test:
Control versie: 1%
Winnaar versie: 2%
Relatieve stijging: 100%

Conversiepercentages 1 maand na de test:
Winnaar versie: 1% (normaal had dit geleid tot vragen)
Control versie: 0.5%
Relatieve stijging: 100%
Conclusie: beste versie staat nog steeds live en presteert nog altijd 100% beter.

2. Het wat (product), hoe (vorm) waar (plaats) en wanneer (moment)
Om de metafoor van de witgoedverkoper te blijven gebruiken: deze man bepaalt aan de hand van de vragen / antwoorden, het gedrag en zijn indruk van de klant:

• wat hij de klant aanbiedt (welk(e) product(en), prijs, merk),
• hoe hij het aanbiedt (veel / weinig uitleg, met humor, snel / langzaam praten, korting, etc),
• waar hij het aanbiedt (meestal in de winkel, maar hij kan ook de klant (na)bellen, aanschrijven), en
• wanneer hij het aanbiedt (timing in gesprek, telefoontje overdag, etc).

Dit komt overeen met wat wij online te doen hebben. We zijn steeds beter in staat om bezoekers te (her)kennen aan gedrag en ze op basis daarvan beter op weg te helpen. Het gedrag van de witgoedverkoper zou online in geautomatiseerde vorm terug kunnen komen (lees: gaat terug komen). De vraag is alleen: welk gedrag verteld wat? Hierin verschillen de online en offline wereld in mijn ogen niet zo veel; ook offline kan iemand een bepaald gedrag hebben (‘ik kom morgen nog wel even terug’), maar het tegenovergestelde denken (‘ik kom niet meer terug’).

Mensen die ervaring hebben in de offline wereld (lees: direct mail, marketing intelligence, etc) hebben al jaren ervaring met het testen van variaties en het selecteren van het juiste aanbod bij het juiste profiel. Het nieuwe aspect dat online met zich meebrengt is de registratie van gedrag en het daaraan koppelen van een waarde zodat dit, gecombineerd met het profiel (product, klantprofiel – demografisch) en de variatie uiteindelijk leidt tot het beste aanbod, in de juiste vorm, op de juiste plaats en tijd. Deze plaats kan zowel online als offline zijn. De meerwaarde van de webanalist in dit proces zit hem de vertaling van gedrag naar waarde. Wij moeten acties van gebruikers op onze website begrijpen en dit kunnen vertalen naar een segment. Dit segment kan dan weer input zijn in het volledige proces dat uiteindelijk resulteert in een uitkomst (bijvoorbeeld een productaanbod op de homepage van een website).

De segmenten kan je maken aan de hand van de input die je nodig hebt in het beslissingsproces. Dit zijn vaak klantstadia, denk aan:
– klant heeft interesse voor product A
– klant denkt aan het opzeggen van dienst B
– klant snapt product C nog niet goed
– klant gebruikt dienst D actief

Maar dit kunnen ook segmenten zijn (zoals Ton schreef) uit de theorie van de gebroeders Eisenberg.

Zijn er al lezers die ervaring hebben (en willen delen) met de aansluiting op dit marketing intelligence terrein en daar goede resultaten mee scoren? Ik hoor het graag!