A/B testning är något du behöver göra just nu—särskilt när små förbättringar av säga 1% eller 2% kan producera imponerande intäktsförbättringar ner linjen.
Vad Är A/B-testning?
innan vi kommer in i detaljerna i en fantastisk A/B-testram, låt oss bara ta ett steg tillbaka och se till att vi alla är på samma sida när vi pratar om A / B-testning i allmänhet., A / B-testning i digital marknadsföring och konverteringsoptimering, stavas också som A/B-testning, eller A / B-testning, är processen att testa två versioner av en webbsida eller app med kontrollerade skillnader.
sidorna presenteras slumpmässigt för användare. När prestandadata samlas in analyseras sidorna för att bestämma vilken version som fungerar bättre.
Vilka Är Fördelarna med A/B-testning?
genom att testa varianter av en webbplats eller app med statistisk noggrannhet kan du mäta och optimera din sida för att säkerställa att du maximerar konverteringar., Oavsett om du testar en ändring i rubriken eller bara en knapps färg, lita inte på teorin för att styra dessa beslut, testa det och låta data driva beslutsfattandet.
Låt oss göra några snabba matematik för att måla en bild av den inverkan det kan ha.
Tänk dig att din produkt säljer på $ 100 och du har 10 000 besök per månad till din webbsida. 3% av dem konvertera, generera $ 30,000 i intäkter för en produkt.
Du A / B testar några ändringar på sidan, och testet visar att din nya sidversion förbättrar din konverteringsfrekvens med 3% (så nu konverterar du 3,09% av besökarna)., Mindre än 0.1% ytterligare konverteringar låter inte så mycket, men du har just genererat ytterligare $900 per månad i intäkter. Även om du slutar testa vid den tidpunkten har du lagt till $ 10,800 årliga intäkter
om du fortsätter att testa och testar ytterligare två gånger med samma resultat av en 3% förbättring av omräkningskursen, din omräkningskurs går upp med 9.3% (1.03 * 1.03 * 1.03). Det är mycket som kompoundering intresse. Din första månad vid den nya konverteringsfrekvensen kommer att ha ett stegvis konverteringsvärde på $ 2,782. Över ett år kommer detta att resultera i en inkrementell $33,382.,
i det här exemplet ledde testningen till mer än en månads värde av inkrementella intäkter.
Observera att detta görs med att trafiken förblir konstant. Du investerade inte i högre volym av annonser, mer innehållsdistribution e-post, sitewide SEO, eller något annat som skulle öka din trafik. Du får bara mer värde av den trafikvolym du redan får. Du optimerar för $ – värdet för varje besökare.
vilka typer av A/B-testning ger resultat?
det finns många mätvärden och till och med områden av data att utforska., Här är 3 sätt vi kan använda split testning för att säkerställa att vi har de bästa omräkningskurserna möjligt.
Prisexperiment
det brukade finnas en marknadsföringsteori som slutade i 7 faktiskt konverterade bättre än något annat nummer. Varför? För att ha ett pris som slutar med 0 (noll) har visat sig vara för allmänt, inte tillräckligt specifikt, 9 blev vanligt förekommande. Då blev priserna som slutade i 9 så vanliga att det inte rör upp ett anmärkningsvärt positivt svar längre och påverkar inte en omvandlingsfrekvens. Så varför tror du att du ser priserna slutar i 7 nu?,
7 var ursprungligen bevisat med ett A / B-test, där prissättningen testades för att hitta den bästa optimeringspunkten. Det är vad data föreslog, och du kan fortfarande se det i vissa SaaS prissättning.
det här kanske inte är den rätta rekommendationen för din webbplats och din publik. Det är en bra idé att köra dina egna tester, och hitta det nummer som bäst konverterar för dig i synnerhet. Använd bästa praxis och branschkunskap för att styra vad du försöker, men låt din egen A/B-testdata driva beslutet.,
färgteori
ett annat exempel på att testa A / B-versioner av en webbplats eller en specifik sida är färgen på CTA.
Gul var en populär favorit under lång tid. Återigen, tack vare en B-testning visade data att gula knappar konverterades bättre. Sedan dess har branschen testat färger mer.
Data från mer djupgående testning tyder på att det är mer relaterat till kontrasten mellan bakgrund och CTA. Inte nödvändigtvis gul bara hur iögonfallande CTA är inom ramen för sidan., Men det är alltid en bra idé att testa variationer och se vad som fungerar för din specifika CTA i samband med din specifika branding.
Musspårning
något så enkelt som att spåra användarens resa på en webbsida kan leda till stora angripbara CRO-data. Var fokuserar besökarna sin tid och uppmärksamhet? Var kommer de till på sidan när de bestämmer sig för att lämna?
det finns en mängd olika mus spårning och värme karta programvara som visar var exakt på sidan användaren tillbringar större delen av sin tid, och där de släpper ut., Genom att testa användarens interaktion med din webbplats på detta sätt kan du låta data bestämma funktionslayouter, CTA-placeringar etc.
med denna typ av kunskap kan du fatta utbildade beslut för att designa dina tester och mäta resultaten av dessa förändringar.
heuristisk analys
det räcker inte att utforma en snygg webbsida eller app; sidan måste också övertyga publiken att slutföra önskad åtgärd.
heuristik är empiriska tumregler eller bästa praxis som har testats tidigare och implementeras för att producera UX-mönster., Varje sida, produkt och tjänst är dock unik. I stället för att bara se till att din sida passar med branschens bästa praxis, dvs. bästa praxis som kommer från någon annans testning, är det vettigt att testa element som din uppmaning till handling placering och omräkningskurser i realtid. Låt utformningen av din webbplats vara datadriven.
vikten av att använda en A/B-Testram
Du kan inte bara rusa in i A / B-testning. Ett slumpartat tillvägagångssätt kommer att leda till misslyckande.,
om du är som de flesta företag har du bara så många resurser och så mycket pengar, så du måste lära dig att prioritera—ibland hänsynslöst. Om du inte kan, din tillväxt kommer eventuellt stagnera, eller du börjar krympa. A / B-testning är det snabbaste, enklaste och mest kostnadseffektiva sättet att upptäcka hur man kör mer trafik, generera fler leads, skapa mer försäljning. Om du vill lyckas med A / B—testning måste du utveckla en strategi och prioriteringar före tid-vilket kan vara svårt att göra.
här på McGaw.io, vi har designat något vi kallar VICE A / B test framework., Med hjälp av denna ram kan vi undvika många av de vanliga a / b-testfel som orsakas av brist på strategi och organisation.
i det här inlägget kommer vi att gå igenom VICE-ramverket och bryta ner exakt hur det fungerar. Vi undersöker hur du kan använda VICE-metoden för att maximera dina mål (som intäkter eller användarregistreringar) utan att behöva spendera mer pengar på att köra trafik. I slutet förstår du hur du använder denna ram i ditt eget företag så att du kan dra nytta av allt som A/B-testning har att erbjuda.,
vikten av att skapa hypoteser
om du tittar på McGaw.io blogg, du ser att vi redan har täckt grunderna i hur du kan komma igång med A / B-testning, som vad du ska testa och vilka verktyg som ska användas.
fokus för det här inlägget är att undersöka hur du kan utföra A/B—tester som är mer benägna att producera fördelaktiga resultat-och nyckeln till att uppnå det är vår VICE ram och Mall för A/B-testning.
innan du dyker in i någon A / B-testning måste du först bilda några hypoteser.,
hypoteser är i huvudsak vad du tror kommer att hända som ett resultat av att göra vissa förändringar.
När vi använder VICE Framework använder vi hypoteser som utgångspunkt. Generera hypoteser är viktigt eftersom utan dem, dina experiment kommer att sakna riktning. Det är en bra idé att komma med ett brett spektrum av hypoteser före tid. Att ha en mängd olika hypoteser uppradade kommer att förbättra din förmåga att snabbt genomföra tester i framtiden, vilket ökar hastigheten med vilken du kan höja webbplats omvandlingar.,
Du bör skapa minst en hypotes för varje element på en sida som du vill testa.
Pro Tips: avstå från att A / B testar mer än ett element på en sida vid varje given tidpunkt. Att testa flera delar av en sida på en gång gör det svårt att ta reda på vilka förändringar som faktiskt leder till vissa resultat.
Pro Tips: avstå från att A / B testar mer än ett element på en sida vid varje given tidpunkt. Att testa flera delar av en sida på en gång gör det svårt att ta reda på vilka förändringar som faktiskt leder till vissa resultat.,
Pro Tips: även om det kan vara bra att ha lite bakgrundskunskap om vad som fungerar bra när du kör tester, behöver du inte alltid följa bästa praxis. I vissa fall kan du finna att göra radikala förändringar och gå emot bästa praxis faktiskt leder till bättre omvandlingar.
VICE-metoden
När det gäller A / B-testning är det viktigt att få några snabba vinster under bältet.
När du tar hand om låg hängande frukt, är du i en bättre position att spendera tid på de mer utmanande experiment du vill gräva i., Plus, ju tidigare du har några vinnande A / B-tester, desto mer får du från de kompoundering förbättringar som kommer med att förbättra omvandlingar.
Pro Tips: om du gör klientarbete kan generera snabba vinster vara ännu viktigare, eftersom det ger Dig möjlighet att bevisa att A/B-testning är värt att fokusera på.
med det i åtanke, Hur kan du identifiera den låga hängande frukten och bestämma de experiment eller hypoteser som sannolikt kommer att fungera?
visst, en kristallkula kan vara till hjälp här, men oddsen är att du inte har en.
ändå, här på McGaw.,io, vi tror att vi har det näst bästa-VICE-tillvägagångssättet.
VICE står för:
- V – Velocity
- I – Impact
- C – Confidence
- e – Ease
tanken här är att du gör dina hypoteser från 0-10 (10 är högsta/mest föredragna), i förhållande till var och en av ovanstående faktorer.
du räknar sedan upp dessa poäng så att du har en ”total”.”
hämta VICE Framework-mallen här!,
den här summan hjälper till att räkna ut sannolikheten för en hypotes eller ett experiment som ger resultat jämfört med alla andra tester du vill köra på en webbplats eller sida. Om du vill generera några snabba vinster, kan det vara bra att prioritera de tester som har de högsta poängen.
här är en översikt över hur vår ram ser ut i aktion, med VICE-sektionen markerad:
om vi zoomar in och tittar närmare kan du se hur vi bildar hypoteser, gör varje kategori och stämmer upp totalen.,
var och en av dessa kategorier representerar olika faktorer som du behöver redogöra för när du kör ett A / B-test. Låt oss ta en närmare titt på var och en så att du kan ge det så exakt en poäng som möjligt.
Velocity
Velocity är den hastighet med vilken ett test kan köras.
din hastighet poäng bör baseras på två huvudfaktorer: (1) Hur mycket trafik en sida får och (2) Hur märkbar en förändring kommer att bli.
hur mycket trafik
i allmänhet, ju mer trafik en webbplats tar in, desto snabbare ett test kan köras., Mer trafik innebär mer data, och mer data innebär att det tar mindre tid att räkna ut om resultaten är statistiskt signifikanta (något vi kommer att täcka senare).
När vi gör mål för hastighet, integrerar vi med Google Analytics för att få det mest exakta numret möjligt (vill att vi ska integrera din VICE ram i google, kontakta oss.). Hastigheten är inställd baserat på den mängd trafik som går igenom en sida. Om en sida får 50 000 personer per vecka, kan vi få statistisk betydelse ganska snabbt., Om en sida bara får 500 träffar per vecka, tar det längre tid för dig att ha tillräckligt med data för att vara säker på resultaten
djärvhet av förändring
att nå statistisk betydelse handlar inte bara om hur många människor som kommer till din webbplats. Det handlar också om hur stor eller märkbar förändringen du testar är. Ju mindre märkbar förändringen är desto mindre sannolikt är det att påverka användarnas beteende, så ju längre det tar för ditt test att nå statistisk betydelse., Till exempel, om du uppdaterar navigeringstexten till en fet typsnitt, som förmodligen inte kommer att öka mängden klick du får dramatiskt—så det tar längre tid att nå en nivå där du kan vara säker på att ändringen gör en skillnad.
om du dock gör en dramatisk förändring kan du nå statistisk betydelse snabbare. Till exempel kommer fler användare att märka en helt ny call-to-action-knapp, så du bör få tillräckligt med data för att vara säker på dina resultat på kortare tid.,
Tänk på det så här: om testet är mer dramatiskt eller polariserande mot användarens upplevelse, bör du förvänta dig att hastigheten blir högre eftersom du ser en skillnad snabbare.
andra faktorer
det är också viktigt att titta på trafiknummer i förhållande till hur många alternativ det finns på en viss sida. Ju fler alternativ (som länkar) Det finns, desto längre kommer det i allmänhet att ta för att slutföra testet.
och baserat på ditt företag eller din säljcykel finns det andra faktorer som du kan behöva ta hänsyn till., Till exempel, om försäljningscykeln för en av dina produkter är sex veckor lång, kommer du inte att kunna slutföra även ett litet test på en vecka.
försök att överväga dina individuella affärsbegränsningar när du gör poäng hastighet.
Impact
Impact är hur mycket en förändring kommer att bidra till en förbättring av omvandlingar.
När du funderar på vilken effekt poäng för att ge en viss hypotes, är det viktigt att först tänka på ditt mål. Om ditt mål är att öka användningen av en gratis testperiod, skulle eventuella ändringar på gratis provsida få en högre effekt poäng., Om du vill öka e-postinsamling för att ge ditt säljteam fler leads, ge en högre poäng till de hypoteser som sannolikt kommer att påverka det området.
När du har ditt mål i åtanke finns det tre andra faktorer att tänka på: (1) förändringens djärvhet, (2) placeringen av sidan i tratten och (3) dina analysdata.
djärvhet av förändring
som vi nämnde med hastighet ovan, desto mer märkbar är en förändring för dina användare, desto mer sannolikt är det att påverka deras beteende., Dramatiska förändringar har oftast en högre effekt poäng eftersom användarna är mer benägna att märka dem, och därmed de är mer benägna att påverka din omvandlingsfrekvens.
placering i tratten
det är också viktigt att tänka på var sidan finns i tratten. I allmänhet kommer sidor nära toppen av tratten ofta att ha mer effekt än de längst ner-helt enkelt för att fler användare kommer att se dem. Så, till exempel, en förändring på Hemsidan kan få en högre effekt poäng än en tjänster sida.
den andra typen av sida som vanligtvis får en hög effekt poäng är kassan och prissättning sidor., Impact poäng bör vara högre för någon plats där användarna försöker ge dig pengar. Du vill göra den processen så lätt som möjligt.
Analytics-Data
slutligen vill du titta på dina analysdata för att hjälpa dig att få effekt (behöver hjälp med att titta på dina analysdata, kontakta oss). Om du använder Google Analytics (och du borde vara) och Google e-handel kan du se en sidans värde i din tratt. Ju högre sidvärde i Google Analytics desto högre Effektpoäng ska vara.,
om du vill bli riktigt cool har vi ett hemligt VICE ramverk som vi kan integrera direkt i ditt Google Analytic-konto och dra in Velocity ad Impact baserat på siffrorna du har i Google Analytics. Kontakta oss om du vill vara fantastisk.
förtroende
förtroende är hur du känner om chanserna för en given hypotes som ger gynnsamma resultat.
ju mer du vet om denna typ av testning, desto mer exakt blir du när det gäller att förskriva förtroendebetyg före tid., Det beror på att även om A / B-testning tenderar att fungera från fall till fall, kommer du att upptäcka att det kommer att finnas vanliga problem som ofta kan lösas med vanliga lösningar. Ett exempel på detta kan vara införandet av ett vittnesmål på en målsida.
om du är helt ny på testning, inte tänka över det och ge det din bästa gissning. Genom processen att skapa hypoteser och skriva ner ditt självförtroende får du snabbt ett bättre grepp för vilka tester som sannolikt kommer att ha framgång.,
När du börjar göra förutsägelser kan det vara bra att hålla reda på hur du och ditt lag gör när det gäller att förutsäga—inte som någon form av straff (A/B-testning kan vara finicky även för en expert), men som en undervisningsmöjlighet. Ofta kan du se mönster i ditt förtroende poäng. Kanske någon i ditt team överskattar alltid effekterna av färg, eller någon annan underskattar vikten av hemsidan.,
om någon konsekvent får mer korrekta gissningar då resten av laget, kan det till och med vara en bra idé att ge ett något högre antal till de tester de har högt förtroende för.
eftersom vi är ett företag som drivs av data bygger vi en modell som tar hänsyn till tidigare prestanda och automatiskt minskar eller stöter på vårt lags poäng efter behov. Det kan vara lite överbord för de flesta företag, men du kan tillämpa den allmänna principen utan att behöva kvantifiera den i en formel., Låt oss veta om du vill vara en betatestare av detta nya verktyg 🙂
lätthet
lätthet är nivån på teknisk skicklighet som kommer att krävas för att göra en förändring.
Puh. Vi är nästan klara. Lyckligtvis är lätthet vanligtvis den enklaste kategorin att göra mål. Du behöver bara överväga vem du behöver göra förändringen och hur mycket tid det tar dem. Fråga dig själv om någon av justeringarna i samband med ett visst experiment kan göras av någon i ditt team eller om du behöver ta med en utvecklare eller designer ombord.,
Split testverktyg som Optimizely eller Visual Website Optimizer gör det enkelt för marknadsförare att göra enkla ändringar som att ta bort en knapp eller ändra en rubrik. Att ändra hela stilen på en sida eller till och med lägga till nya sidor på en webbplats kan dock vara mycket mer komplicerat.
ändringar som detta kommer förmodligen att kräva hjälp av en utvecklare och kanske till och med en copywriter för att få jobbet gjort ordentligt. Var inte rädd för att slingra in dem och få en mer exakt poäng här.
När du har bestämt vem du behöver för att utföra ett givet test, överväga hur lång tid det tar dem., Om du måste betala en utvecklare för timmar och timmar av arbete, eller hyra en utomstående entreprenör, eller förlora en medlem av ditt marknadsföringsteam för en vecka, ge testet en lägre lätthet poäng. Om det inte tar mycket tid och du behöver bara en medlem av ditt lag, ge det en högre poäng.
validera framgång
VICE ramverket gör det mycket lättare att gå igenom processen med att korrekt A / B testa de olika delarna av en webbplats utan att bli överväldigad., Ramverket kan dock inte skydda dig från de fel som du kan göra när du försöker avgöra om ett experiment lyckades eller inte.
i vissa fall kan det se ut som om du har förbättrade konverteringar, men med tiden kan ändringarna misslyckas med att skapa en konsekvent ökning av konverteringarna. För att skydda dig mot en sådan situation måste du se till att dina resultat anses statistiskt signifikanta.
om de inte är statistiskt signifikanta kan det du tycker vara en förbättring i själva verket bara vara ett flash-in-the-pan-resultat., Helst bör dina experiment ha en statistisk betydelse på minst 95%. Genom att kontrollera den statistiska betydelsen av dina resultat och se till att de poäng över 95%, du kan på ett tillförlitligt sätt avgöra om du har en vinnande variation på händerna och om ändringarna är värda att hålla.
Nu, om du inte är matematiskt benägen eller begreppet statistisk signifikans skrämmer dig—oroa dig inte. Vi har skapat effin A/B Test Calculator. Denna enkla Chrome förlängning kan användas för att avgöra om dina resultat är statistiskt signifikanta.,
det är väldigt lätt att använda. Allt du behöver göra är att sätta i din trafik och konverteringsnummer och verktyget kommer att visa dina resultat. Inget behov av att röra runt med några komplicerade formler!
naturligtvis kan du använda andra verktyg och metoder. Vad du än gör, se bara till att du alltid kontrollera den statistiska betydelsen av dina resultat innan beslut fattas om en vinnande variant.
slutsats
att utföra A / B-experiment kan bli mycket överväldigande, mycket snabbt. Med vårt VICE-tillvägagångssätt kan du dock förhindra det., Förutsatt att du spenderar den tid som behövs för att komma med hypoteser, är allt du behöver göra att använda VICE-metoden för att ta reda på var du ska fokusera.
När du har genererat vissa data relaterade till testet, kontrollera dess statistiska betydelse. Beroende på resultatet som returneras vet du om ändringarna är värda att behålla. A / B testning är något som du vill göra så snart som möjligt, så försök och vidta åtgärder på vad du har lärt dig snabbt.
Visst, du kanske inte får saker rätt första gången runt—men VICE-tillvägagångssättet kommer definitivt att minska oddsen för misslyckande och bortkastad ansträngning.,