A/B-test er noget, du skal gøre lige nu—især når de er små forbedringer af sige 1% eller 2% kan producere imponerende indtægter forbedringer ned linjen.
Hvad er A / B-test?
før vi kommer ind på detaljerne i en fantastisk a/b-testramme, lad os bare tage et skridt tilbage og sikre, at vi alle er på samme side, når vi taler om A/B-test generelt., A/B-test i digital marketing og konverterings optimering, også stavet som A/B-test, eller A/B-test, er processen med at teste to versioner af et website eller en app med kontrolleret forskelle.
siderne præsenteres tilfældigt for brugerne. Når ydelsesdata indsamles, analyseres siderne for at bestemme, hvilken version der fungerer bedre.
Hvad er fordelene ved A / B-test?
Test af variationer af et websiteebsted eller en app med statistisk strenghed giver dig mulighed for at måle og optimere din side for at sikre, at du maksimerer konverteringer., Uanset om du tester en ændring af overskriften eller bare farven på en knap, skal du ikke stole på teori for at guide disse beslutninger, teste dem og lade dataene drive beslutningstagning.
lad os lave nogle hurtige matematik for at male et billede af den indflydelse, det kan have. forestil dig, at dit produkt sælger til $ 100, og du har 10.000 besøg om måneden på din weebside. 3% af dem konverterer, genererer $ 30,000 i omsætning for det ene produkt.
Du A / B tester nogle ændringer på siden, og din test viser dig, at din nye sideversion forbedrer din konverteringsfrekvens med 3% (så nu konverterer du 3.09% af besøgende)., Mindre end 0.1% yderligere konverteringer lyder ikke af meget, men du har lige genereret en ekstra $900 om måneden i omsætning. Selvom du holder op med at teste på det tidspunkt, har du tilføjet $ 10,800 årlig omsætning
Hvis du fortsætter med at teste og teste to gange mere med det samme resultat af en 3% forbedring af konverteringsfrekvensen, stiger din konverteringsfrekvens 9.3% (1.03 * 1.03 * 1.03). Det er meget som at blande interesse. Din første måned ved den nye konverteringsfrekvens vil have en trinvis konverteringsværdi på $ 2,782. Over et år vil dette resultere i en trinvis $33.382.,
i dette særlige eksempel førte testen til mere end en måneds værdi af trinvise indtægter.
bemærk, at dette gøres, når trafikken forbliver konstant. Du investerede ikke i større mængde annoncer, e-mails med mere indholdsdistribution, SEO i hele sitebstedet eller noget andet, der ville øge din trafik. Du får bare mere værdi ud af den trafikmængde, du allerede får. Du optimerer for $ – værdien af hver besøgende.
hvilke typer A / B-test giver resultater?
Der er mange målinger og endda områder af data at udforske., Her er 3 måder, vi kan anvende split test for at sikre, at vi har de bedst mulige konverteringsfrekvenser.
Prisforsøg
der plejede at være en marketingteori, at priser, der sluttede på 7, faktisk konverterede bedre end noget andet nummer. Hvorfor? Fordi at have en pris, der slutter med 0 (nul), har vist sig at være for generel, ikke specifik nok, blev 9 almindeligt anvendt. Derefter blev priserne, der sluttede i 9, så almindelige, at det ikke længere skaber et bemærkelsesværdigt positivt svar og ikke påvirker en konverteringsfrekvens. Så hvorfor tror du, du ser priser, der slutter på 7 nu?,
7 blev oprindeligt bevist med en A / B-test, hvor prissætningen blev testet for at finde det bedste optimeringspunkt. Det er, hvad dataene foreslog, og du kan stadig se det i nogle SaaS-priser.
dette er muligvis ikke den rigtige anbefaling til dit websiteebsted og dit publikum. Det er en god ide at køre dine egne tests og finde det nummer, der bedst konverterer til dig. Brug best practice og branchekendskab til at guide, hvad du prøver, men lad dine egne a/b-testdata drive beslutningen.,
farveteori
et andet eksempel på at teste A / B-versioner af et websiteebsted eller en bestemt side er farven på CTA.
Gul var en populær favorit i lang tid. Igen, takket være en B-test, data viste, at gule knapper konverteret bedre. Siden da har industrien testet farver mere.
Data fra mere dybdegående test tyder på, at det er mere relateret til kontrasten mellem baggrund og CTA. Ikke nødvendigvis gul, hvor iøjnefaldende CTA er inden for rammerne af siden., Men det er altid en god ide at teste variationer og se, hvad der virker for din specifikke CTA i forbindelse med din specifikke branding.
Musesporing
noget så simpelt som at spore brugerens rejse på en userebside kan føre til store Handlingsrettede CRO-data. Hvor fokuserer besøgende deres tid og opmærksomhed? Hvor kommer de til på siden, når de beslutter at forlade?
der er en række musesporings-og varmekortsoft .are, der viser dig, hvor nøjagtigt på siden din bruger tilbringer det meste af deres tid, og hvor de falder af., Ved at teste brugerens interaktion med dit websiteebsted på denne måde kan du tillade dataene at bestemme funktionslayouts, CTA-placeringer osv.
med denne type viden er du i stand til at tage uddannede beslutninger om at designe dine test og måle resultaterne af disse ændringer.
heuristisk analyse
det er ikke nok at designe en flot webebside eller app; siden skal også overtale publikum til at gennemføre den ønskede handling.
heuristik er empiriske tommelfingerregler eller bedste praksis, der er blevet testet i fortiden og implementeres for at producere U. – design., Hver side, produkt og service er dog unik. I stedet for blot at sikre, at din side passer til branchens bedste praksis, dvs.bedste praksis, der kommer fra en andens test, giver det mening at teste elementer som din opfordring til handlingsplacering og konverteringsfrekvenser i realtid. Lad designet af dit websiteebsted være datadrevet.
vigtigheden af at bruge en A/B-testramme
Du kan ikke bare skynde dig ind i A / B-test. En tilfældig tilgang vil føre til fiasko.,
Hvis du er som de fleste virksomheder, har du kun så mange ressourcer og så mange penge, så du er nødt til at lære at prioritere—nogle gange hensynsløst. Hvis du ikke kan, vil din vækst eventuelt stagnere, eller du vil begynde at krympe. A / B-test er den hurtigste, nemmeste og mest omkostningseffektive måde at opdage, hvordan man driver mere trafik, genererer flere kundeemner, skaber mere salg. Hvis du vil lykkes med A / B—test, skal du udvikle en strategi og prioriteter på forhånd-hvilket kan være vanskeligt at gøre.
Her på McGaw.io, vi har designet noget, vi kalder VICE A / B testing frame .ork., Ved hjælp af denne ramme er vi i stand til at undgå mange af de almindelige a/b-testfejl, der skyldes manglende strategi og organisation.
i dette indlæg skal vi gennemgå VICE-rammen og nedbryde nøjagtigt, hvordan det fungerer. Vi undersøger, hvordan du kan bruge VICE-metoden til at maksimere dine mål (som indtægter eller brugertilmeldinger) uden at skulle bruge flere penge på at køre trafik. I sidste ende forstår du, hvordan du bruger denne ramme i din egen virksomhed, så du kan drage fordel af alt, hvad A/B-test har at tilbyde.,
betydningen af at skabe hypoteser
Hvis du kigger på McGaw.io blog, vil du se, at vi allerede har dækket det grundlæggende om, hvordan du kan komme i gang med A/B-test, som hvad du skal teste og hvilke værktøjer du skal bruge. fokus for dette indlæg er at undersøge, hvordan du kan gennemføre A/B—test, der er mere tilbøjelige til at give gavnlige resultater-og nøglen til at opnå det er vores VICE-ramme og skabelon til A / B-test.
før du dykker ned i en A / B-test, skal du først danne nogle hypoteser.,
hypoteser er i det væsentlige, hvad du tror vil ske som følge af at foretage visse ændringer.
når vi bruger VICE-rammen, udnytter vi hypoteser som udgangspunkt. Generering af hypoteser er vigtigt, fordi uden dem vil dine eksperimenter mangle retning. Det er en god ide at komme med en bred vifte af hypoteser på forhånd. At have en række hypoteser, der er opstillet, vil forbedre din evne til hurtigt at implementere test i fremtiden, hvilket øger den hastighed, hvormed du kan hæve websiteebstedskonverteringer.,
Du skal oprette mindst en hypotese for hvert element på en side, du vil teste.pro Tip: afstå fra A / B-test mere end et element på en side på et givet tidspunkt. Test af flere elementer på en side på oncen gang gør det svært at finde ud af, hvilke ændringer der faktisk fører til visse resultater.pro Tip: afstå fra A / B-test mere end et element på en side på et givet tidspunkt. Test af flere elementer på en side på oncen gang gør det svært at finde ud af, hvilke ændringer der faktisk fører til visse resultater.,
Pro-Tip: Selvom det kan være nyttigt at have en vis baggrundsviden om, hvad der fungerer godt, når der køres test, behøver du ikke altid nødt til at følge bedste praksis. I nogle tilfælde kan du opleve, at det at foretage radikale ændringer og gå imod bedste praksis faktisk fører til bedre konverteringer.
VICE-tilgangen
Når det kommer til A / B-test, er det vigtigt at få nogle hurtige gevinster under dit bælte.
Når du tager dig af lavthængende frugt, er du i en bedre position til at bruge tid på de mere udfordrende eksperimenter, du vil grave i., Plus, jo før du har nogle vindende A / B-test, jo mere får du fra de sammensatte forbedringer, der følger med forbedring af konverteringer. Pro Tip: Hvis du laver klientarbejde, kan det være endnu vigtigere at generere hurtige gevinster, da det giver dig muligheden for at bevise, at a/b-test er værd at fokusere på.
med det i tankerne, Hvordan kan du identificere den lavthængende frugt og bestemme de eksperimenter eller hypoteser, der mest sandsynligt vil fungere?
sikker på, en krystalkugle kan være nyttigt her, men odds er, at du ikke har en.
ikke desto mindre her på Mcga..,io, vi tror, vi har den næstbedste ting—VICE tilgang.
VICE står for:
- V – Hastighed
- jeg – Effekt
- C – Tillid
- E – Lethed
Ideen her er, at du score din hypoteser fra 0-10 (hvor 10 er højeste/mest at foretrække), i relation til hver af de ovennævnte faktorer.
du optæller derefter disse scoringer, så du har en “total.”
Hent VICE Frame templateork skabelonen her!,
denne total hjælper med at finde ud af sandsynligheden for, at en hypotese eller et eksperiment giver resultater sammenlignet med alle de andre tests, du vil køre på et .ebsted eller en side. Hvis du ønsker at generere nogle hurtige gevinster, kan det være nyttigt at prioritere de test, der har den højeste score.
Her er en oversigt over, hvad vores rammer ser ud i handling, med VICE afsnit fremhævet:
Hvis vi zoomer ind og tage et nærmere kig, kan du se, hvordan vi danner hypoteser, score hver kategori, og tally op totalerne.,
hver af disse kategorier repræsenterer forskellige faktorer, som du skal redegøre for, når du kører en A / B-test. Lad os se nærmere på hver enkelt, så du kan give den så nøjagtig en score som muligt.
hastighed
hastighed er den hastighed, hvormed en test kan køres.
din velocity score skal være baseret på to hovedfaktorer: (1) Hvor meget trafik en side får og (2) hvor mærkbar en ændring vil være.
hvor meget trafik
generelt, jo mere trafik et websiteebsted bringer ind, jo hurtigere kan en test køres., Mere trafik betyder flere data, og flere data betyder, at det vil tage mindre tid at finde ud af, om resultaterne er statistisk signifikante (noget vi dækker senere).
Når vi scorer for hastighed, integrerer vi med Google Analytics for at få det mest nøjagtige antal muligt (vil have os til at integrere din VICE-ramme i google, Kontakt os.). Hastighed er indstillet baseret på mængden af trafik, der går gennem en side. Hvis en side får 50.000 mennesker om ugen, kan vi ramme statistisk betydning ret hurtigt., Hvis en side kun får 500 hits om ugen, vil det tage længere tid for dig at have nok data til at være sikre på resultaterne
ændring af dristighed
at nå statistisk betydning handler ikke kun om, hvor mange mennesker der kommer til dit websiteebsted. Det handler også om, hvor stor eller mærkbar ændringen du tester er. Jo mindre mærkbar ændringen er, desto mindre sandsynligt er det at påvirke brugeradfærd, så jo længere tid det tager for din test at nå statistisk betydning., For eksempel, hvis du opdaterer navigationsteksten til en fed skrift, øger det sandsynligvis ikke mængden af klik, Du får dramatisk—så det vil tage længere tid at nå et niveau, hvor du kan være sikker på, at ændringen gør en forskel.
Hvis du dog foretager en dramatisk ændring, kan du nå statistisk betydning hurtigere. For eksempel vil flere brugere bemærke en helt ny opfordring til handling-knap, så du skal få nok data til at være sikre på dine resultater på kortere tid.,
tænk på det sådan: hvis testen er mere dramatisk eller polariserende til brugerens oplevelse, skal du forvente, at hastigheden bliver højere, fordi du vil se en forskel hurtigere.
Andre Faktorer
Det er også vigtigt at se på trafik tal i forhold til, hvor mange muligheder der er på en given side. Jo flere muligheder (som links) der er, jo længere tid vil det generelt tage at gennemføre testen.
og baseret på din virksomhed eller din salgscyklus er der andre faktorer, du muligvis skal tage højde for., For eksempel, hvis salgscyklussen for et af dine produkter er seks uger lang, vil du ikke være i stand til at gennemføre en lille test om en uge.
prøv at overveje dine individuelle forretningsbegrænsninger, når du scorer hastighed.
Impact
Impact er, hvor meget en ændring vil bidrage til en forbedring af konverteringer.
Når du overvejer, hvilken effekt score der skal gives en bestemt hypotese, er det vigtigt først at tænke på dit mål. Hvis dit mål er at øge brugen af en gratis prøveperiode, vil eventuelle ændringer på den gratis prøveperiode få en højere effekt score., Hvis du vil øge email capture for at give dit salgsteam flere kundeemner, skal du give en højere score til de hypoteser, der sandsynligvis vil påvirke dette område.
Når du har dit mål i tankerne, er der tre andre faktorer, du skal overveje: (1) ændringens dristighed, (2) placeringen af siden i tragten og (3) dine analysedata.som vi nævnte med hastighed ovenfor, jo mere mærkbar en ændring er for dine brugere, jo mere sandsynligt er det at påvirke deres adfærd., Dramatiske ændringer har normalt en højere effekt score, fordi brugerne er mere tilbøjelige til at lægge mærke til dem, og dermed de er mere tilbøjelige til at påvirke din konverteringsfrekvens.
placering i tragten
Det er også vigtigt at overveje, hvor siden er i tragten. Generelt vil sider nær toppen af tragten ofte have større indflydelse end dem i bunden-simpelthen fordi flere brugere vil se dem. Så for eksempel kan en ændring på hjemmesiden få en højere effekt score end en serviceside.
den anden type side, der typisk får en høj effekt score er kassen og prissætning sider., Impact score bør være højere for ethvert sted, hvor brugerne forsøger at give dig penge. Du ønsker at gøre denne proces så let som muligt.
analysedata
endelig vil du se på dine analysedata for at hjælpe dig med at score indflydelse (brug for hjælp til at se på dine analysedata, kontakt os). Hvis du bruger Google Analytics (og det skal du være) og Google E-handel, kan du se en sides værdi i din tragt. Jo højere sideværdien i Google Analytics er, desto højere skal Påvirkningsresultatet være.,
Hvis du vil blive rigtig cool, har vi en hemmelig VICE-ramme, som vi kan integrere direkte i din Google Analytic-konto og trække i hastighed annoncepåvirkning baseret på de numre, du har i Google Analytics. Kontakt os, hvis du vil være fantastisk.
tillid
tillid er, hvordan du har det med chancerne for, at en given hypotese giver gunstige resultater.
jo mere du ved om denne type test, jo mere præcis vil du være, når det kommer til at ordinere tillidsvurderinger på forhånd., Det skyldes, at selvom A / B-test har tendens til at arbejde fra sag til sag, vil du opdage, at der vil være fælles problemer, der ofte kan løses ved hjælp af fælles løsninger. Et eksempel på dette kan være inkluderingen af et vidnesbyrd på en destinationsside.
Hvis du er helt ny til at teste, skal du ikke overtænke det og give det dit bedste gæt. Gennem processen med at skabe hypoteser og skrive ned din selvtillid, får du hurtigt et bedre greb om, hvilke tests der sandsynligvis vil have succes.,
når du begynder at lave forudsigelser, kan det være nyttigt at holde styr på, hvordan du og dit team gør, når det kommer til at forudsige—ikke som en slags straf (A/B-test kan være kræsen, selv for en ekspert), men som en mulighed for undervisning. Tit, du kan se mønstre i din tillid scoringer. Måske overvurderer nogen på dit team altid virkningen af farve, eller en anden undervurderer vigtigheden af hjemmesiden.,
Hvis nogen konsekvent får mere korrekte gæt end resten af holdet, kan det endda være en god ide at give et lidt højere antal til de test, de har stor tillid til.
da vi er et firma, der er drevet af data, bygger vi en model, der tager hensyn til tidligere præstationer og automatisk reducerer eller støder vores teams score efter behov. Det kan være lidt overbord for de fleste virksomheder, men du kan anvende det generelle princip uden at skulle kvantificere det i en formel., Lad os vide, hvis du ønsker at være en beta-tester af dette nye værktøj 🙂
lethed
lethed er det niveau af teknisk færdighed, der kræves for at foretage en ændring.
Puha. Vi er næsten færdige. Heldigvis er lethed normalt den nemmeste Kategori at score. Du skal bare overveje, hvem du har brug for for at foretage ændringen, og hvor meget tid det vil tage dem. Spørg dig selv, om nogen af de justeringer, der er relateret til et specifikt eksperiment, kan foretages af nogen i dit team, eller om du bliver nødt til at medbringe en udvikler eller designer om bord.,
Split test værktøjer som Optimizely eller Visual Website Optimizer gør det nemt for marketingfolk til at foretage simple ændringer som at fjerne en knap eller ændre en overskrift. Det kan dog være meget mere kompliceret at ændre hele stilen på en side eller endda tilføje nye sider til et websiteebsted.ændringer som dette vil sandsynligvis kræve hjælp fra en udvikler og måske endda en tekstforfatter for at få jobbet gjort ordentligt. Vær ikke bange for at sløjfe dem ind og få en mere præcis score her.
Når du har bestemt, hvem du skal udføre en given test, skal du overveje, hvor lang tid det vil tage dem., Hvis du skal betale en udvikler for timevis af arbejde, eller leje en ekstern entreprenør, eller miste et medlem af din marketing team i en uge, give testen en lavere lethed score. Hvis det ikke tager meget tid, og du bare har brug for et medlem af dit team, skal du give det en højere score.
Validering Succes
VICE rammer gør det meget nemmere at gå gennem processen med korrekt A/B-test af de forskellige elementer på en hjemmeside, uden at blive overvældet., Rammen kan dog ikke beskytte dig mod de fejl i dommen, du måtte gøre, når du prøver at afgøre, om et eksperiment var vellykket eller ej.
i nogle tilfælde kan det se ud som om du har forbedret konverteringer, men med tiden kan ændringerne ikke producere en konsekvent stigning i konverteringer. For at beskytte dig mod en sådan situation skal du sikre dig, at dine resultater betragtes som statistisk signifikante.
Hvis de ikke er statistisk signifikante, kan det, du synes er en forbedring, faktisk bare være et flash-in-the-pan-resultat., Ideelt set bør dine eksperimenter have en statistisk betydning på mindst 95%. Ved at kontrollere den statistiske betydning af dine resultater og sikre, at de scorer over 95%, kan du pålideligt afgøre, om du har en vindende variation på dine hænder, og om ændringerne er værd at holde.
nu, hvis du ikke er matematisk tilbøjelig eller begrebet statistisk betydning skræmmer dig—rolig. Vi har oprettet Effin A / B Test Calculator. Denne enkle Chrome-udvidelse kan bruges til at bestemme, om dine resultater er statistisk signifikante eller ej.,
det er meget nemt at bruge. Alt du skal gøre er at sætte i din trafik og konvertering numre og værktøjet vil vise dine resultater. Ingen grund til at rode rundt med nogen komplicerede formler!
selvfølgelig er du fri til at bruge andre værktøjer og metoder. Uanset hvad du gør, skal du bare sørge for, at du altid kontrollerer den statistiske betydning af dine resultater, før du beslutter dig for en vindende variation.
konklusion
udførelse af A / B-eksperimenter kan blive meget overvældende, meget hurtigt. Ved hjælp af vores VICE-tilgang kan du dog forhindre det., Forudsat at du bruger den nødvendige tid til at komme med hypoteser, er alt hvad du skal gøre at bruge VICE-tilgangen til at finde ud af, hvor du skal fokusere.
Når du har genereret nogle data relateret til testen, skal du kontrollere dens statistiske betydning. Afhængigt af det returnerede resultat ved du, om ændringerne er værd at beholde. A / B-test er noget, du vil gøre så hurtigt som muligt, så prøv at handle på det, du har lært hurtigt.
sikker på, at du måske ikke får tingene rigtigt første gang—men VICE-tilgangen vil helt sikkert reducere oddsene for fiasko og spildt indsats.,