A/B testing på visitnorway.com

Vi jobber kontinuerlig med å forbedre visitnorway.com, og vi har stort sett brukt klassiske verktøy for webanalyse i tillegg til brukertester og spørreundersøkelser for å kartlegge behov og tilpasse innhold og funksjonalitet.

I januar tok vi i bruk et nytt A/B-testverktøy for raskt og effektivt å kunne måle effekten av endringer på tekst, design og funksjonalitet.

Når vi bestemmer oss for å gjennomføre en test, for eksempel basert på innspill fra brukere, eksperter eller hypoteser, setter vi opp de variantene vi ønsker å teste opp mot originalen. Da kan vi vurdere om dette er noe vi ønsker å gå videre med eller ikke, basert på resultatene av testen.

Det er for eksempel veldig lett å teste hvilken tittel som gir flest klikk inn til en artikkel. Vi trenger bare å klikke på tittelen for og endre den, se skjermbilde under.

Her er resultatene fra noen av testene vi har gjennomført:

1) Klikk til destinasjonsselskapenes nettsider fra destinasjonspresentasjoner

Vi ville finne ut om enkle designgrep på destinasjonsidene kunne øke antall klikk inn til destinasjonenes nettsider, i første omgang bare ved å øke størrelsen på linkteksten og med fete typer.

Testen ble gjort på Visit Oslo sine sider på visitnorway.com. Vi fikk en positiv endring på 7075 % i antall klikk ved å endre størrelse og ha fetere tekst, se skjermbilde under.

Vi jobber derfor videre med dette for å få elementet designet optimalt for å drive trafikk inn til destinasjonsselskapenes nettsider.

2) Hva bør «Booking» hete i toppmenyen?

Vi testet forskjellige navn på menypunktet for «Booking» for engelsk, norsk og spansk, i håp om å lede enda flere av de som var interessert i å bestille inn i bookingløsningen.

For engelsk vant «Booking» med en forbedring på 39 % mot «Book online» som det originalt sto. «Online booking» hadde en 14 % forbedring mot originalen.

På norsk vant «Bestilling» med en forbedring på 114 % (!) mot originalen «Bestill reise». Se skjermbildet under for oversikt over de andre variantene.

I den spanske menyen ønsket vi å se om det var best å skrive «Booking» på spansk eller engelsk. Siden BookNorway ennå ikke har spansk utgave var vi også spent på om fluktfrekvensen («Bounce rate») hos BookNorway var bedre eller dårligere når brukerne kom fra en spansk side til en engelsk bookingløsning.

«Booking» hadde en nedgang på 48 % på engelsk (Variation 1) i forhold til «Reservas»(Control). Se skjermbilde under.

Fluktfrekvensen var tilnærmet lik for dem begge, så da ønsker vi logisk nok å benytte «Reservas» i den spanske menyen.

Basert på disse resultatene endret vi teksten i menypunktet til «vinnerne» av disse 3 testene.

3) Flytting av «Bestilling» i hovedmenyen for norsk utgave

Vi ønsket å se hvor stor endring det ble i antall klikk inn til BookNorway når vi flyttet «Bestilling» fra posisjon to til nest siste og siste posisjon i hovedmenyen.

Vi fikk en nedgang på 7273 % i antall klikk, se skjermbilde under.

Så tallenes tale var klar, vi flytter ikke «Bestilling».

Konklusjon

A/B-testing blir et viktig verkøy for oss for å avdekke om det er lurt å gå videre med nye konsepter eller endringer, før vi bruker mye tid og penger på design og utvikling vi ikke vet effekten av. Vi kommer til å bruke dette aktivt fremover for å ha reelle beslutningsdata.

Våre funn viser at man må være nøye på hva man kaller «booking» på de ulike språkene – ord er enormt virkningsfulle.

Til slutt; Vi valgte Visual Website Optimizer fordi det var enkelt å ta i bruk og hadde nok funksjonalitet til at vi kan gjennomføre de testene vi ønsker.

God testing!

Om Kjetil Røed

Teknisk ansvarlig for Visitnorway.com
Dette innlegget ble publisert i Analyse, Design, Funksjonalitet, Innhold, Testing og merket med , . Bokmerk permalenken.

9 svar til A/B testing på visitnorway.com

  1. Interessant og bra fokus! Liker at dere deler erfaringene deres med oss.

  2. Takk skal du ha Heidi. Vi syns testing og deling/formidling er noe av det mest spennende og viktige å drive med selv og 🙂

  3. Hei!

    Veldig interessante resultater. Takk for at dere deler! Det første til en diskusjon hos oss om Bestill reise VS. Bestilling. Har dere noen hypotese om hvorfor det funket bedre med Bestilling? Har dere målt forskjell i konvertering etter klikk på de respektive alternativene også? Er det noen sjanse for at folk klikker Bestilling for å få informasjon om hvordan de bestiller osv./se på bestillingen sin osv., mens Bestill reise høres ut som bare et bestillingsskjema. Det har i hvertfall skapt mye bra diskusjon hos oss 🙂

    Jostein

    • Hei Jostein.

      Foreløpig har vi ikke målt endringene opp mot konvertering i Book Norway.

      Hvorfor det ene funker bedre enn det andre er jo 48.000 kroners spørsmålet. Men vi tror ikke «Bestilling» får flere klikk enn «Bestill reise» fordi folk skal se sin bestilling eller få informasjon om bestilling.

      Vi har gjort flere andre tester på ulike navn på menypunktene i toppmenyen, og resultatene er ofte overraskende og til dels motsatt av hva vi har «synset» eller trodd tidligere.

      Så det ligger i kortene at vi vil publisere flere interessante A/B-tester fremover og.

  4. Torstein Helleve sier:

    Min hypotese: Hovudregelen om å bruka aktiv form av verbet er bra, men ikkje ufråvikeleg.

    Ved Naturhistorisk museum hadde vi inne ein som hadde forlest seg på denne regelen og ville endra «Vandreutstillinger» til «Lån en utstilling». Problemet med det var at målgruppa her var museumsfolk, som (i motsetning til denne karen) veit godt kva vandreutstillingar er, og når dei ser etter slike, er «Vandreutstillinger» eit godt triggerord. «Lån en utstilling» vert nærmast meiningslaust.

    Gjettar på at «Bestilling» triggar brukaren like mykje som «Bestill reise», pluss at det er ørlite meir skannbart (eitt ord og ikkje to).

  5. Zahoor A. sier:

    Takk for deling av resultatene. Dette var spennende lesing.

  6. Takk for deling av interessante resultater. Hadde vært kjekt å hørt forskjell på Visual Website Optimizer og Google Website Optimizer, og litt mer hvorfor dere har valgt Visual …

  7. Kjetil Røed sier:

    Den viktigste forskjellen er at Visual Website Optimizer kun trenger å få installert et global javascript som er tilgjengelig fra alle sider, mens Google Website Optimizer krever at du gjør endringer i HTML-koden per side som skal være med i testen.

    Med Visual Website Optimizer trenger vi derfor ikke gjøre endringer på sidenivå i vår publiseringsløsning, som gjør at det er mindre risiko for at det blir feil i vår originale HTML-kode. Når testen er ferdig, avslutter vi den og sidene vil være som før testen.

    Alle endringer gjøres i et visuelt administrasjon grensesnitt hos VWO, de påvirker HTML-koden på sidene våre ved å modifisere DOM( Document Object Model ) i klienten(nettleseren til brukerne).

    I Google Website Optimizer har man større risiko for at de skal skje feil i den originale HTML-koden på grunn av at man må modifisere den på sidenivå, samt at det blir mer administrasjon i publiseringsløsning og det krever at malene i løsningen støtter endring i de områdene du ønsker å teste.

    Det er mange flere alternativer der ute også, og de fleste har en gratis test periode. Så man bør prøve seg frem og se hvilket som kan passe i forhold til sitt budsjett, publiseringsløsning og arbeidsform.

  8. Tilbaketråkk: VisitNorway.com’s adventures in the A/B Testing land « I love split testing – Visual Website Optimizer Blog

Legg igjen en kommentar

Din e-postadresse vil ikke bli publisert. Obligatoriske felt er merket med *