• Usability & design
    wordt gesponsord door

Website optimalisatie met A/B/N en Multivariate testen

Website optimalisatie met A/B/N en Multivariate testen
{title}A/B/N testen en MultiVariate Testen (MVT), je hoort de termen steeds vaker vallen. Het zijn methodes om verschillende content, designs, flows en dergelijke, op websites te testen op hun succes. Welke kleur button scoort het beste? Levert een vermindering in aantal stappen of de lengte van stappen in mijn boekingsproces een betere conversie op? Welk design levert de hoogste conversie op? De designer, marketeer, IT specialist en usability expert zeggen allemaal iets anders, maar wat scoort nou het beste op conversie? Of welke combinatie van designs scoort het beste? Met A/B/N testen en Multivariate testen is het mogelijk dit online en realtime te testen.

Multivariate testen is een methode waarmee het mogelijk is meerdere variabelen in één keer te testen, en tegelijkertijd de impact van de afzonderlijke elementen te meten, met als doel de optimale combinatie van input variabelen te bepalen. Een goede methode voor het optimaliseren van een boekingsformulier bijvoorbeeld.

Bij A/B/N testen worden verschillende pagina’s, banners, producten, boekingsflows etc. ten opzichte van elkaar getest. In tegenstelling tot Multivariate testen is hierbij de impact van de afzonderlijke elementen niet te testen. Dit is een goede methode om verschillende designs te testen, welke scoort het beste op gestelde succes events. Voordeel hiervan ten opzichte van MVT is dat minder conversies vereist zijn om betrouwbare uitkomsten te krijgen. Voor een redesign een goede methode om de impact real time te kunnen testen.

De markt lijkt nu klaar te zijn voor A/B/N testen en MultiVariate Testen (MVT). Steeds vaker vragen klanten naar dergelijke oplossingen. Omniture komt met Test & Target. De werking en inzet ervan ben ik momenteel aan het uitzoeken, zodat wij in de vraag van onze klanten naar dergelijke tools kunnen adviseren en voorzien. Na wat online trainingsmateriaal te hebben doorgenomen , is het tijd de bevindingen, voor en na-delen van deze tool eens onder de aandacht te brengen.

Omniture Test & Target is het product van Omniture voor het uitvoeren van Multivariate en A/B/N testen en tegelijkertijd kan hiermee getarged worden. In dit artikel zal alleen het testgedeelte besproken worden, in een volgend artikel zal ingegaan worden op het target gedeelte ervan.

Hoe werkt Omniture Test & Target?

Test & Target werkt met zogenaamde Mboxes (Marketing Boxes). Een Mbox is een bepaald gedeelte op je website waarin je content kunt veranderen en/of bezoekersgedrag kunt loggen.
Mboxes kunnen bepaalde delen van een pagina beslaan, een tabel of een gehele pagina.

{title}
Voorbeelden van Mboxes

De Mboxes zijn de verbinding tussen je HTML pagina’s en Omniture. Mboxes ontvangen informatie van je pagina en daardoor is het mogelijk verschillende content aan te bieden aan bezoekers op de locaties waar je de Mbox hebt gedefinieerd. 

Voordeel van Test & Target is dat het snel en vrijwel zonder betrokkenheid van IT geïmplementeerd kan worden. Het enige wat vanuit IT gedaan dient te worden is het script op de pagina plaatsen, een refference aan het script toevoegen en de Mboxes om bepaalde onderdelen van je website zetten.

Nu is de website in principe klaar om te gaan testen. De inhoud van de Mboxes kan door bijvoorbeeld marketeers zelf worden veranderd met de gebruiksvriendelijke interface van Test & Target.
In de Mboxes kun je content veranderen en/of bezoekersdata loggen. De content kan bijvoorbeeld een HTML code, een image, CSS of javascript zijn. De verschillende contents worden offers genoemd.

Toepassing van Test & Target

Wanneer je bijvoorbeeld je boekingsformulier wil optimaliseren en testen, zou je Mboxes op verschillende pagina’s kunnen plaatsten en daarin verschillende content kunnen testen. Op de boekingsbevestiging-pagina plaats je dan de zogenaamde conversion Mbox. Zodra deze wordt aangeroepen wordt de conversie gemeten. Elke test die je opzet moet een conversion Mbox hebben, dit is wat je als webteam als succes event definieert.

 

{title}
Voorbeelden van Mboxes boekingsflow

In de interface kun je zien welke combinatie van content tot de hoogste conversie leidt, waarbij de betrouwbaarheid ervan ook gegeven wordt.

 

{title}
Screenshot Test & Target interface

Een succesvolle inzet van test en target op de amerikaanse website quickbooks.com,  leidde tot een lift van 35% revenue per visistor in 30 dagen. In deze test werden 7 elementen getest en binnen elk element werden 2 verschillende contents getest (128 alternatieven). Test en Target berekende de best scorende combinatie, welke tot de aanzienlijke uplift in 30 dagen zorgde.

 

{title}
Voorbeeld van optimalisatie pagina met Test & Target

Aandachtspunten

Bij Omniture heb ik nagevraagd hoe het zit met de betrouwbaarheid, hoeveel conversies zijn nodig om een betrouwbaar resultaat te krijgen. Ongeveer 100 per recipe (een recipe is een combinatie van verschillende offers in de verschillende Mboxes ) was het antwoord. Er kunnen dus wel veel elementen getest worden, maar het kan wel even duren voordat daar betrouwbare resultaten uit verkregen worden. Het is dus belangrijk goed na te denken over de content van de elementen en welke elementen belangrijk zijn. Des te meer Mboxes en offers, des te meer mogelijke recipes in de mulitvariate test meegenomen moeten worden, des te meer conversies nodig zijn om betrouwbare data te verkrijgen.
Elke Mbox moet hetzelfde aantal offers bevatten voor het uitvoeren van een multivariate test, dit vraagt dus ook enige oplettendheid en vooraf goed bedachte test opzet. 

Conclusie

Test & Target zie ik als een prima aanvulling op zowel kwantitatief als kwalitatief onderzoek voor het gericht optimaliseren van je website. Het is een erg toegankelijke en gebruiksvriendelijke tool, welke zonder veel tussenkomst van IT ingezet kan worden.
Doordat het mogelijk is zelf te kiezen welk percentage van de bezoekers de testpagina’s kunnen krijgen, kan de angst voor verlaging van de conversieratio weggenomen worden.

Het is wel belangrijk te beseffen dat bepaalde restricties bestaan. Bijvoorbeeld dat bij het uitvoeren van een multivariate test hetzelfde aantal offers per element vereist is, en dat je er zeker van moet zijn dat de elementen onafhankelijk van elkaar zijn. Daarmee heeft het opzetten van een test meer voeten in de aarde heeft dan aanvankelijk misschien gedacht wordt.

Het lijkt me trouwens een geschikte, interessante methode om de eeuwige discussies tussen de verschillende disciplines marketing, IT en usability experts aan een test te onderwerpen. Ik ben benieuwd wie er wint ;-).


Delen

0
0


Er zijn 22 reacties op dit artikel

  • Waar zit het nieuws in deze posting?

    Het gaat deels over MVT maar vooral over 1 product en de mogelijkheden daarvan. Als je dan ook bedenkt dat de schrijfster werkt bij de reseller van dit product dan begint de posting aardig in de buurt van reclame te komen.

    Jammer!

    Waarom geen aandacht voor Memetrics, SiteSpect, Optimost of Google Optimizer?

    geplaatst op
  • @Yvonne, ik krijg het gevoel, bij het lezen van dit artikel, dat Multivariate test nieuw voor je zijn. Er is een ruim aanbod aan tools op de markt, waarover ook al met regelmaat geschreven is. Test&Target;lijkt voor mijn gevoel erg veel op Google Website Optimizer, dat gratis is en prima werkt.

    geplaatst op
  • Goede les voor Marco: als je advertenties opneemt in je rss-feed, zorg er dan ook voor dat die goed in de feed gemarkeerd staan (en niet alleen in de meta-informatie bij het bericht). Ik ging ook lezen vanuit het perspectief van een 'normaal' bericht, en pas na de 3e keer het woord 'omniture' gezien te hebben ging ik twijfelen aan de objectiviteit van het bericht ;)

    geplaatst op
  • Licht in de duisternis: het is geen advertentie, maar het bedrijf waar de schrijver werkt heet 'advertisement'. Wat een ongelukkige samenloop van omstandigheden, want het bericht leest wel heel sterk als een advertisement (ook voor iemand met de nodige multivariate- en andere spss-kennis ;).

    geplaatst op
  • @Inge: bezint eer ge begint... Het bedrijf heet ADVERSITEMENT. Koffie? ;-)

    geplaatst op
  • *gaat koffie halen*

    ;-)

    Niettemin (zoals al aangegeven) is de tekst erg advertentieachtig. Ik kende advertisement als bedrijf nog niet, dus ik nam aan dat dit woord sloeg op de status van dit bericht (namelijk een advertentie), en dat het vergeten was om in de titel mee te nemen voor de rss-feed. Het lijkt me daarom geen bijster onlogische conclusie.

    geplaatst op
  • @Daniel, Joost, Inge: mee eens dat hier slechts één product wordt belicht, maar volgens mij gebeurt dat niet alleen in deze posting. Adversitement werkt inderdaad met o.a. tools van Omniture en juist daarom zal hier ook aandacht aan besteed worden als dit relevant is.
    Veel bedrijven bieden exact die diensten aan die in hun posting ter sprake komen, wat mij betreft van hetzelfde laken een pak. Het onderscheidend vermogen van deze postings verhogen lijkt me een prima idee, maar dan wel consequent.

    On-topic: er zijn inderdaad meerdere tools om multi-variate tests uit te voeren. Een belangrijk verschil zit in de manier waarop de testen zijn samen te stellen, het onderhoud hiervan en de gebruikte analyse. Grosso modo zijn er twee verschillende methodes voor een multi-variate test, full-factorial analyse en fractional factorial analyse (waaronder de Taguchi methode).

    @Joost: Google Optimizer gebruikt een full-factorial analyse, wat inhoudt dat alle combinaties getest worden. Dat kan (afhankelijk van de opzet) de doorloopsnelheid van een test verhogen. In theorie is het ook mogelijk om met Google Optimizer slechts een beperkt aantal elementen te testen en aan de hand daarvan een uitspraak te doen (de methode die Test&Target;overwegend gebruikt), maar dat is een vrij gecompliceerd verhaal.

    Het grootste verschil ligt op het gebied van segmentatie bij multi-variate testen (het Target gedeelte). Verschillende groepen bezoekers kunnen met Test&Target;een specifieke multi-variate test aangeboden krijgen. Een voorbeeld is het verschil tussen bezoekers die direct op de website komen (dus bijv. de URL intypen) en bezoekers die via Google de website bezoeken. De eerste groep is waarschijnlijk al bekend met de website en kan dus een andere test aangeboden krijgen waarbij de nadruk ligt op concrete call-to-actions. Verder kan de interactie tussen elementen op verschillende pagina's duidelijk in beeld worden gebracht (dus niet slechts één pagina testen). Tot slot kan ook offline data worden meegenomen in de test, wanneer dit relevant is.

    Disclaimer: ook ik ben werkzaam voor Adversitement ;-)

    geplaatst op
  • @Matthijs, je noemt nou twee interessante dingen die WEL nieuwswaarde hebben. Dat zie ik in het artikel niet naar voren komen.
    Voor mij is interessant om te we weten of het verschil tussen full-factorial en niet full-factorial enig nut heeft. Al ben ik daar direct sceptisch over, je test juist om erachter te komen welke variate de beste is. Variaties uitsluiten in de trend 'deze zal toch wel niet werken' is juist niet de bedoeling. De enige reden die ik kan bedenken is: 'deze variatie mag absoluut niet'.

    geplaatst op
  • @Joost: het verschil tussen full- en niet-full-factorial heeft zeker invloed. Zie de uitleg van Google over de verschillen. Korte samenvatting: als je bij een auto drie verschillende maten voor de banden hebt en vier verschillende opties voor de motor, dan heb je 4*3=12 mogelijke combinaties. Om alle combinaties te testen heb je dus 12 auto's nodig. Stel dat je de aanname doet dat het type band geen invloed heeft op de motor die in de auto zit, dan hoef je slechts vier auto's te testen (waarin iedere optie voor de motor voorkomt en elke bandenmaat).

    Als we dit vertalen naar een website en multi-variate testen, betekent het dat een full-factorial analyse gewoonweg te lang duurt als je heel veel verschillende elementen gaat variëren. Zie een ander voorbeeld voor het aantal bezoekers dat nodig is bij 83 variaties.

    Met fractional factoring sluit je dus variaties uit, zoals je zelf al aangeeft, maar dan wel op basis van statistische gronden. Hiermee kan je de doorloopsnelheid verhogen, meer variaties tegelijkertijd testen en het effect van variaties over meerdere pagina's inzichtelijk maken. De praktijk wijst uit dat dit in diverse situaties grote voordelen kan opleveren.

    geplaatst op
  • Matthijs

    Het gaat hier om de grenzen. Natuurlijk is het zo dat iedereen hier schrijft over zijn/haar specialisme. Als je dat goed doet is het vanzelf reclame, vooral omdat de lezer er iest van leert. De lezer zal de schrijver dan ascocieren met het niveau van de content. Zelf doe je dit niet bepaald onverdienstelijk dus ik neem aan dat je het hiermee eens bent.

    Maar deze posting kan ik niet anders zien dan reclame. Alle mogelijkheden van MVT worden eenzijdig belicht vanuit de mogelijkheden van 1 leverancier. Als de afzender dan reseller is van de leverancier dan zijn de grenzen overschreden.

    Naast deze ongeschreven blogger ethiek is een ander probleem, het niveau van het artikel. Wat wilde Yvonne bereiken met dit artikel? Evenals Joost constateer ik ook dat het Rooky gehalte van de schrijfster je tussen de regels verblindend tegemoet schijnt.

    Vooral de volgende zinnen uit Yvonne’s artikel zijn exemplarisch: " Bij Omniture heb ik nagevraagd hoe het zit met de betrouwbaarheid, hoeveel conversies zijn nodig om een betrouwbaar resultaat te krijgen. Ongeveer 100 per recipe (een recipe is een combinatie van verschillende offers in de verschillende Mboxes ) was het antwoord”.

    Bovenstaande doet vermoeden dat Yvonne nog niet het geringste inzicht heeft in statistiek. En over Omniture maak ik me ook zorgen als ik naar het antwoord kijk.

    Betrouwbaar resultaat is afhankelijk van de steekproefgrote en het gemeten verschil tussen de alternatieven. Daarvoor bestaan simpele formules maar geen vuistregels. Vuistregels zijn zelfs gevaarlijk, want ze geven het vermoeden dat je doordacht het juiste alternatief kiest terwijl je er flagrant naast kan zitten.

    Toch is er hoop. Yvonne stipt enkele belangrijke concepten aan. Bovendien geeft ze aan dat ze zich diepgaand in dingen kan verdiepen en dat ze dit prettig leesbaar kan overbrengen. Als ze daar wat ethiek en statistiek aan weet toe te voegen verheug ik me op een volgend artikel.

    geplaatst op
  • Recent heeft Google Website Optimizer toegankelijk gemaakt voor iedereen. Dus niet alleen voor mensen met een Adwords account.
    Overigens ben ik nog geen multivariant test tegen gekomen waarbij jee meerdere pagina's tegelijk optimaliseert. Oftewel je maakt een aantal variaties voor stap 1/pagina 1, een aantal variaties voor stap 2/pagina 2.
    Nu moet je meerdere tests doen om een bepaald pad te optimaliseren.

    geplaatst op
  • Mijn doel van de post is geweest het delen van productkennis. En ja, ik had kunnen schrijven over Optimizer en andere paketten, maar daar heb ik mij (nog) niet in verdiept en daar kan en ga ik dus geen uitspraken over doen. Het product is ontwikkeld voor marketeers. Voor hen is deze post ook geschreven, om hen aan te zetten deze vorm van testen in te zetten. In tegenstelling tot google Optimizer kan na het plaatsen van Mboxes door marketeers zelf inhoud gemanipuleerd en getest worden, IT blijft daarin buiten beschouwing, omdat geen codes geplaatst hoeven worden.

    Omniture basseert de 100 conversies op cases welke zij uitgevoerd hebben bij onder andere Skype en Vodafone. Hierin was de betrouwbaarheidsinterval van 95% op de geclaimde uplifts en drops van de toegekende succesevents gemeten vanaf ongeveer 100 conversies (deze info was puur om even om aan te geven dat het niet bij 10 conversies al het geval is, maar ook dat er geen 1000 nodig zijn). En ja, het is afhankelijk van variantie, belangrijker is de mogelijke oorzaken van grote variantie te minimaliseren tijdens de testopzet. Marketeers zijn doorgaans niet geinteresseerd in de statistiek die erachter zit, maar willen de resultaten zien.

    Het artikel is geschreven om te voorzien in de vraag van klanten. Voor hen is het belangrijk een goede, snelle en gebruiksvriendelijke tool in te kunnen zetten. In de interface zijn de resultaten en bijbehorende betrouwbaarheidsintervallen direct zichtbaar, statistische kennis is voor hen dan ook niet nodig, wat ik als zeer positief zie voor de beoogde gebruikers doelgroep.

    Ik kan niet anders dan toegeven dat ik zeer te spreken ben over de gebruiksvriendelijkheid van de tool, maar daar is niks mis mee lijkt me (dat blijft toch mijn vak).

    geplaatst op
  • @SEO bedrijven, met deze tool (ik noem geen namen ;-)) is het mogelijk meerdere tests tegelijkertijd te draaien.

    geplaatst op
  • @Yvonne - Je titel doet vermoeden dat het over het testen gaat met multi varianten en dergelijke. Dus dit is een advertotial. Misschien moet dat dan ook maar een rubriek worden ;-)
    Overigens ben ik van mening dat marketeers juist geïnteresseerd moeten zijn in statistieken. Zo leer je je publiek kennen. Alleen conversie meten is te plat.

    geplaatst op
  • Meerdere test tegelijkertijd kan in principe met iedere multi varianten tool. Het gaat mij specifiek om een test waarbij meerdere pagina's samen getest worden om tot een beter einddoel te komen.

    geplaatst op
  • Yvonne, ik denk dat je bedoeling goed is maar dat je enerzijds de gemiddelde lezer van Marketingfacts onderschat door niet de diepte in te gaan en anderzijds het onderwerp te eenzijdig te belichten. Het artikel was een stuk sterker geweest als je naast Omniture op zijn minst ook de andere aanbieders had genoemd. Voor de verdere uitwerking is het logisch dat je kiest om dat aan de hand te doen van Omniture. Dat is wat jullie aanbieden en wat je kent. Daar is ook niets mis mee.

    On-topic, multivariate testen is één van de aandachtspunten tijdens het komende Webanalytics Congres op 29 mei in Maarssen.

    geplaatst op
  • @Matthijs, ik zie je punt, alleen is het bij mijn websites totaal niet aan de orde. Ruimschoots traffic en geen enkele aanleiding om een variatie uit te willen sluiten.

    Bedankt voor de verdere reacties. Ik denk dat iedereen de beste intenties heeft.

    geplaatst op
  • Off-topic
    @Daniel, ik kan het niet laten even kort mijn commentaar hierop te geven. Yvonne schrijft hier een alleraardigst stuk over MVT met de beste bedoelingen. Daniel gebruikt vervolgen dit artikel om een statement te maken die TOTAAL geen toegevoegde waarde heeft. Bekritiseerd iemand op zijn of haar content en laat zelf aardig wat steken vallen door zijn zelfingenomenheid hiermee nog eens heel duidelijk naar voren te brengen. Daarom "haal eerst die balk uit je eigen oog, alvorens het strootje uit het oog van een ander te halen".

    Maar goed, het zal het ondoorgrondelijke academische niveau van deze Web Analytics specialist wel die niet begrijpt dat je sommige zaken onder 4 ogen moet bespreken en dat geldt ook voor goed bedoelde 'tips'.

    Dit was mijn eerste en laatste commentaar op dit artikel. En Yvonne, keep up the good work en lekker blijven bloggen. Van dit soort kritieken steek je soms ook nog wat op ;-)

    geplaatst op
  • @ Yvonne
    Stuk was idd niet echt heel diep maar wel een goede poging! Aanvulling van Matthijs maakt veel goed

    @Daniel
    Er zijn meerdere mensen/bloggers die Marketingfacts gebruiken om links en rechts wat reclame te maken. Zie Yvonne der stukje als een eerste poging. Zelf kan ik dit (ook) niet en waag me er daarom maar niet aan.

    @Inge
    Als online marketing specialist lijkt het me dat je adversitement zou moeten kennen..?

    Als een (soort) marketeer gaat het mij er idd ook om dat de test plaatsvind volgens een zo hoog mogelijk garantiemodel. Alle ins en outs hoef ik niet precies te weten. Je kunt m.i. niet gespecialiseerd zijn in alle (diepgaande) facetten van online marketing; onmogelijk!
    Sta open voor de kennis van anderen en probeer daar zoveel mogelijk uit te halen.

    geplaatst op
  • Hallo,

    Bij MetrixLab doen wij dit soort onderzoeken al een behoorlijk lange tijd en voor zeer veel organisaties. We hebben er een fantastische tool voor, kunnen hele websites met elkaar vergelijken als dat gewenst is en hebben eigenlijk vrijwel elke denkbare en wenselijke optie in de tool verwerkt.

    Om eens wat te noemen: de verzamelde data kunnen gelinkt worden aan de omniture data van onze opdrachtgever.

    Ik leg het graag een keer in detail uit aan geintresseerden, bel of mail maar naar MetrixLab.

    geplaatst op
  • Onafhankelijke informatie over online experimenten zoals A/B testen, MVT en behavioral targeting. Uitleg, praktijkcases en hoe op te zetten: het wiki van de taskforce online experimenten van de WAA: http://www.waanederland.nl/mediawiki (disclaimer: ik zit zelf in deze taskforce). Alle aanvullingen van info zijn welkom! Tevens zal de taskforce een kennisdelingssessie geven op het http://www.webanalyticscongres.nl op 29 mei a.s.

    geplaatst op
  • @wouter wordt het dan geen tijd om je ervaringen te gaan delen op http://www.webanalisten.nl ?

    geplaatst op

Plaats zelf een reactie

Log in zodat je (in het vervolg) nóg sneller kunt reageren

Vul jouw naam in.
Vul jouw e-mailadres in. Vul een geldig e-mailadres in.
Vul jouw reactie in.

Herhaal de tekens die je ziet in de afbeelding hieronder


Let op: je reactie blijft voor altijd staan. We verwijderen deze dus later niet als je op zoek bent naar een nieuwe werkgever (of schoonmoeder). Reacties die beledigend zijn of zelfpromotioneel daarentegen, verwijderen we maar al te graag. Door te reageren ga je akkoord met onze voorwaarden.