A/B testování je něco, co je třeba dělat právě teď—zejména, když malé zlepšení o 1% nebo 2% může produkovat působivé příjmy vylepšení.
co je a / B testování?
Než se dostaneme do specifik, úžasný A/B testování rámec, řekněme, vzít krok zpět a zajistit, aby se všichni na stejné stránce, když mluvíme o A/B testování obecně., Testování a / B v digitálním marketingu a optimalizaci konverze, také napsané jako testování a / B nebo testování a / B, je proces testování dvou verzí webové stránky nebo aplikace s kontrolovanými rozdíly.
stránky jsou uživatelům prezentovány náhodně. Při shromažďování údajů o výkonu jsou stránky analyzovány, aby se zjistilo, která verze funguje lépe.
jaké jsou výhody testování A / B?
testování variant webové stránky nebo aplikace se statistickou přísností umožňuje měřit a optimalizovat vaši stránku, abyste zajistili maximalizaci konverzí., Ať už jste testování změny záhlaví nebo jen barva tlačítka, nespoléhejte se na teorie k vedení těchto rozhodnutí, testu a umožnit údajů řídit rozhodování.
pojďme udělat nějakou rychlou matematiku, abychom namalovali obrázek dopadu, který může mít.
Představte si, že váš produkt prodává za $100 a máte 10,000 návštěvy měsíčně na své webové stránky. 3% z nich převést, generování $ 30,000 v příjmech pro tento jeden produkt.
testujete některé změny na stránce a váš test vám ukáže, že vaše nová verze stránky zvyšuje míru konverze o 3% (takže nyní převádíte 3.09% návštěvníků)., Méně než 0.1% další konverze nezní jako moc, ale právě jste vygenerovali další $900 měsíčně v příjmech. Dokonce i když jste zastavit testování na tom místě, které jste přidali 10.800 dolarů ročních příjmů
Pokud budete mít testování, a ještě dvakrát se stejným výsledkem 3% zlepšení míra konverze, míra konverze se zvedne o 9.3% (1.03 * 1.03 * 1.03). Je to jako úrok. Váš první měsíc při novém konverzním kurzu bude mít přírůstkovou konverzní hodnotu $2,782. Za rok to bude mít za následek přírůstkové $33,382.,
v tomto konkrétním příkladu vedlo testování k přírůstkovým příjmům v hodnotě více než jednoho měsíce.
Vezměte prosím na vědomí, že se to děje s konstantou provozu. Neinvestovali jste do vyššího objemu reklam, více e-mailů s distribucí obsahu, sitewide SEO nebo do něčeho jiného, co by zvýšilo váš provoz. Právě získáváte větší hodnotu z objemu provozu, který již získáte. Optimalizujete hodnotu $každého návštěvníka.
jaké typy testů A / B přinášejí výsledky?
existuje mnoho metrik a dokonce i oblastí dat, které je třeba prozkoumat., Tady jsou 3 způsoby, jak můžeme použít rozdělené testování, abychom zajistili, že budeme mít nejlepší možné přepočítací koeficienty.
Cenové Experimenty
bývaly marketingové teorie, že ceny, které končí v 7 skutečně převedeny lepší, než jakékoli jiné číslo. Proč? Protože se ukázalo, že cena, která končí 0 (nula), je příliš obecná, není dostatečně specifická, 9 se běžně používá. Pak se ceny končící v 9 staly tak běžnými, že už nevyvolávají pozoruhodnou pozitivní reakci a neovlivňují konverzní poměr. Tak proč si myslíte, že vidíte ceny končící v 7 nyní?,
7 byl původně prokázán testem A / B, kde byly testovány ceny, aby se našel nejlepší optimalizační bod. To je to, co data navrhla, a stále ji můžete vidět v některých cenách SaaS.
toto nemusí být správné doporučení pro vaše webové stránky a vaše publikum. Je to dobrý nápad spustit vlastní testy a najít číslo, které pro vás nejlépe převede. Použijte osvědčené postupy a znalosti z oboru, abyste vedli to, co se snažíte, ale nechte své vlastní testovací údaje A/B řídit rozhodnutí.,
teorie barev
dalším příkladem testování a / B verzí webové stránky nebo konkrétní stránky je barva CTA.
žlutá byla dlouho oblíbeným favoritem. Opět, díky testování B, data ukázala, že žlutá tlačítka převedena lépe. Od té doby průmysl testoval barvy více.
Data z důkladnějšího testování naznačují, že souvisí spíše s kontrastem mezi pozadím a CTA. Ne nutně žlutá, jak poutavý je CTA v kontextu stránky., Ale vždy je dobré vyzkoušet variace a zjistit, co funguje pro vaši konkrétní CTA v souvislosti s vaší konkrétní značkou.
sledování myší
něco tak jednoduchého, jako je sledování cesty uživatele na webové stránce, může vést k velkým žalovatelným datům CRO. Kde návštěvníci zaměřují svůj čas a pozornost? Kam se dostanou na stránku, když se rozhodnou odejít?
existuje celá řada myši sledování a tepla map software, který vám ukáže, kde přesně na stránce uživatel tráví většinu svého času,a kde se vysadit., Testováním interakce uživatele s vaším webem tímto způsobem můžete umožnit datům určit rozvržení funkcí, umístění CTA atd.
s tímto typem znalostí jste schopni učinit vzdělaná rozhodnutí navrhnout své testy a měřit výsledky těchto změn.
heuristická analýza
nestačí navrhnout dobře vypadající webovou stránku nebo aplikaci; stránka musí také přesvědčit publikum, aby dokončilo požadovanou akci.
heuristika jsou empirická pravidla palce nebo osvědčené postupy, které byly testovány v minulosti a jsou implementovány pro výrobu návrhů UX., Každá stránka, produkt a služba je však jedinečná. Spíše než jen zajištění vaší stránce zapadá průmyslu nejlepší praxe, tj. osvědčených postupů, které pochází od někoho jiného testování, to dává smysl, aby testovací prvky, jako jsou vaše výzva k akci umisťování a konverze v reálném čase. Nechte design vašeho webu řídit daty.
důležitost použití testovacího rámce A / B
nemůžete jen spěchat do testování A/B. Náhodný přístup povede k selhání.,
Pokud jste jako většina společností, máte jen tolik zdrojů a tolik peněz, takže se musíte naučit upřednostňovat—někdy bezohledně. Pokud nemůžete, váš růst bude nakonec stagnovat, nebo začnete zmenšovat. A / B testování je nejrychlejší, nejjednodušší a nákladově nejefektivnější způsob, jak zjistit, jak řídit větší provoz, generovat více potenciálních zákazníků, vytvářet více prodejů. Pokud chcete uspět s testováním A / B, musíte předem vypracovat strategii a priority—což může být obtížné.
zde na McGaw.io Navrhli jsme něco, čemu říkáme testovací rámec VICE A/B., Pomocí tohoto rámce jsme schopni vyhnout se mnoha běžným poruchám testování A / B, které jsou způsobeny nedostatkem strategie a organizace.
v tomto příspěvku projdeme vice framework a přesně rozebereme, jak to funguje. Prozkoumáme, jak můžete použít přístup VICE k maximalizaci vašich cílů (jako jsou příjmy nebo registrace uživatelů), aniž byste museli utrácet více peněz za řízení provozu. Nakonec pochopíte, jak tento rámec používat ve svém vlastním podnikání, abyste mohli těžit ze všeho, co testování A/B nabízí.,
Význam Vytváření Hypotéz
Pokud jste se podívat na McGaw.io blogu, uvidíte, že už jsme se vztahuje základy o tom, jak můžete začít s A/B testování, jako to, co testovat a jaké nástroje použít.
cílem tohoto příspěvku je prozkoumat, jak můžete provádět testy A/B, které s větší pravděpodobností přinesou prospěšné výsledky—a klíčem k dosažení tohoto cíle je náš VICE Framework a šablona pro testování A / B.
než se ponoříte do jakéhokoli testování A / B, musíte nejprve vytvořit nějaké hypotézy.,
hypotézy jsou v podstatě to, co si myslíte, že se stane v důsledku určitých změn.
při použití rámce VICE využíváme hypotézy jako náš výchozí bod. Generování hypotéz je důležité, protože bez nich budou vaše experimenty postrádat směr. Je dobré přijít s celou řadou hypotéz dopředu. Mít řadu hypotéz seřazených zlepší vaši schopnost rychle implementovat testy v budoucnu a zvýšit rychlost, s jakou můžete zvýšit konverze webových stránek.,
pro každý prvek stránky, kterou chcete otestovat, byste měli vytvořit alespoň jednu hypotézu.
Pro Tip: zdržet a / B testování více než jeden prvek stránky v daném okamžiku. Testování více prvků stránky najednou ztěžuje zjistit, které změny skutečně vedou k určitým výsledkům.
Pro Tip: zdržet a / B testování více než jeden prvek stránky v daném okamžiku. Testování více prvků stránky najednou ztěžuje zjistit, které změny skutečně vedou k určitým výsledkům.,
Pro Tip: i Když to může být užitečné mít některé základní znalosti o tom, co funguje dobře, když testy, nemusíte mít vždy sledovat nejlepší praxi. V některých případech, možná zjistíte, že dělat radikální změny a jít proti nejlepší praxi skutečně vede k lepší konverze.
přístup VICE
pokud jde o testování A / B, je důležité získat nějaké rychlé výhry pod pásem.
Když se starat o nízko visící ovoce, jste v lepší pozici, aby trávit čas na náročnější experimenty chcete kopat do., Navíc, čím dříve budete mít nějaké vítězné testy a / B, tím více získáte z kombinačních vylepšení, která přicházejí se zlepšováním konverzí.
Pro Tip: Pokud děláte práci s klienty, generování rychlých výher může být ještě důležitější, protože vám dává příležitost prokázat, že testování A/B stojí za to se zaměřit.
s ohledem na to, jak můžete identifikovat nízko visící ovoce a určit experimenty nebo hypotézy, které s největší pravděpodobností budou fungovat?
jistě, křišťálová koule může být užitečné zde, ale šance jsou, že nemáte jeden.
nicméně zde na McGaw.,io, myslíme si, že máme další nejlepší věc-VICE přístup.
VICE je zkratka pro:
- V – Rychlost
- – Dopad
- C – Důvěra
- E – Jednoduchost
Nápad tady je, že jste vaše skóre hypotéz od 0-10 (10 je nejvyšší/nejvýhodnější), ve vztahu ke každému z výše uvedených faktorů.
pak se shodují tyto skóre tak, že máte “ celkem.“
získejte zde šablonu Vice Framework!,
Tohle celkem pomáhá pracovat pravděpodobnost hypotézy nebo experiment produkovat výsledky, když ve srovnání se všemi ostatními testy, které chcete spustit na webu nebo stránky. Pokud hledáte generovat nějaké rychlé výhry, může být užitečné upřednostnit testy, které mají nejvyšší skóre.
Zde je přehled toho, co naše rámce vypadá v akci, s VICE sekci zdůraznil:
Když se přiblížíme a podíváme se blíže, můžete vidět, jak jsme formu hypotéz, skóre pro každou kategorii, a shodují se součty.,
Každou z těchto kategorií představují různé faktory, které je třeba zohlednit při spuštění A/B test. Pojďme se blíže podívat na každý z nich, takže si můžete dát co nejpřesnější skóre, jak je to možné.
Rychlost
rychlost je rychlost, při které může být test spuštěn.
vaše skóre rychlosti by mělo být založeno na dvou hlavních faktorech: (1) kolik provozu stránka získává a (2) Jak znatelná bude změna.
kolik provozu
obecně platí, že čím více provozu web přináší, tím rychleji lze test spustit., Větší provoz znamená více dat a více dat znamená, že bude trvat méně času, než se vypracuje, pokud budou výsledky statisticky významné (něco, co pokryjeme později).
když skórujeme pro rychlost, integrujeme se s Google Analytics, abychom získali co nejpřesnější číslo (chcete, abychom integrovali váš vice framework do google, kontaktujte nás.). Rychlost je nastavena na základě množství provozu, který prochází stránkou. Pokud stránka získává 50 000 lidí týdně, můžeme rychle zasáhnout statistický význam., Pokud stránka je stále jen 500 návštěv za týden, to bude trvat déle, pro vás mít dostatek dat, aby být jisti, výsledky
Smělost změnit
Dosahující statistické významnosti není jen o tom, kolik lidí přichází na vaše webové stránky. Je to také o tom, jak velká nebo patrná je změna, kterou testujete. Méně nápadné změny, tím méně je pravděpodobné, že vliv chování uživatelů, takže čím déle to bude trvat pro vaše zkoušky k dosažení statistické významnosti., Například, pokud jste aktualizovat navigační text na tučné písmo, které pravděpodobně nebude zvyšovat množství kliknutí se dostanete dramaticky—takže to bude trvat déle, než dosáhne úrovně, kde si můžete být jisti, že změna je dělat rozdíl.
Pokud však provedete dramatickou změnu, můžete dosáhnout statistické významnosti rychleji. Například více uživatelů si všimne zbrusu nového tlačítka call-To-action, takže byste měli získat dostatek dat, abyste si byli jisti svými výsledky v kratším čase.,
Přemýšlejte o tom takto: pokud je test dramatičtější nebo polarizující pro zkušenosti uživatele, měli byste očekávat, že rychlost bude vyšší, protože uvidíte rozdíl rychleji.
Další faktory
je také důležité podívat se na čísla provozu ve vztahu k tomu, kolik možností je na dané stránce. Čím více možností (jako odkazy) existuje, tím déle bude obecně trvat dokončení testu.
a na základě vašeho podnikání nebo prodejního cyklu, existují další faktory, které budete muset vzít v úvahu., Například, pokud je prodejní cyklus jednoho z vašich produktů dlouhý šest týdnů, nebudete moci dokončit ani malý test za týden.
zkuste zvážit vaše individuální obchodní omezení při bodování rychlosti.
dopad
dopad je, kolik změna přispěje ke zlepšení konverzí.
Když uvažujete o tom, jaký dopad skóre dát konkrétní hypotézu, je důležité nejprve myslet na svůj cíl. Pokud je vaším cílem zvýšit používání bezplatné zkušební verze, pak by jakékoli změny na bezplatné zkušební stránce získaly vyšší skóre dopadu., Pokud chcete zvýšit e-mail zachytit dát váš prodejní tým více zájemců, dát vyšší skóre hypotéz, které jsou pravděpodobné, že dopad této oblasti.
jakmile máte na mysli svůj cíl, je třeba zvážit další tři faktory: (1) odvaha Změny, (2) Umístění stránky do nálevky a (3) vaše analytická data.
Smělost změnit
Jak jsme se zmínili se Rychlost výše, výraznější změna je pro uživatele, tím je pravděpodobnější, že dopad na jejich chování., Dramatické změny mají obvykle vyšší skóre dopadu, protože uživatelé si je častěji všimnou, a proto je pravděpodobnější, že ovlivní váš konverzní poměr.
umístění v nálevce
je také důležité zvážit, kde je stránka v nálevce. Obecně platí, že stránky v horní části nálevky budou mít často větší dopad než stránky v dolní části—jednoduše proto, že je uvidí více uživatelů. Například změna na domovské stránce by mohla získat vyšší skóre dopadu než stránka služeb.
dalším typem stránky, která obvykle získává vysoké skóre dopadu, jsou stránky pokladen a cen., Dopad skóre by mělo být vyšší pro každé místo, kde se uživatelé snaží, aby vám peníze. Chcete, aby byl tento proces co nejjednodušší.
Analytics
a Konečně, budete chtít, aby se podívat na vaše data Analytics, které vám pomohou skóre Dopadu (je třeba pomoct při pohledu na vaše data analytics, kontaktujte nás). Pokud používáte Google Analytics (a měli byste být) a Google Ecommerce, můžete vidět hodnotu stránky ve svém trychtýři. Čím vyšší je hodnota stránky v Google Analytics, tím vyšší by mělo být skóre dopadu.,
Pokud se chcete dostat opravdu super, my máme tajemství, VICE rámec, který můžeme integrovat přímo do vašeho Google Analytics účtu a vytáhnout v Rychlosti ad Dopad na základě čísla, které máte v Google Analytics. Kontaktujte nás, pokud chcete být úžasní.
Důvěra
Důvěra je, jak se cítíte o šance na danou hypotézu produkovat příznivé výsledky.
čím více o tomto typu testování víte, tím přesnější budete, pokud jde o předepisování hodnocení spolehlivosti předem., Je to proto, že i když testování A/B má tendenci pracovat případ od případu, zjistíte, že se vyskytnou běžné problémy, které lze často vyřešit pomocí běžných řešení. Příkladem toho může být zahrnutí svědectví na vstupní stránku.
Pokud jste na testování zcela nový, nepřehánějte to a dejte mu nejlepší odhad. Prostřednictvím procesu vytváření hypotéz a psaní vaší důvěry rychle získáte lepší přehled o tom, které testy pravděpodobně budou mít úspěch.,
Když začnete předpovídat, může být užitečné sledovat, jak vy a váš tým děláte, pokud jde o předpovídání-ne jako nějaký trest (testování A/B může být vybíravé i pro odborníka), ale jako příležitost k výuce. Často můžete vidět vzory ve vašem skóre důvěry. Možná někdo ve vašem týmu vždy přeceňuje dopad barvy, nebo někdo jiný podceňuje význam domovské stránky.,
Pokud někdo neustále získává správnější odhady než zbytek týmu, může být dokonce dobré dát mírně vyšší číslo testům, na které mají vysokou důvěru.
vzhledem k tomu, že jsme společnost řízená daty, vytváříme model, který zohledňuje minulé výkony a podle potřeby automaticky snižuje nebo snižuje skóre našeho týmu. Pro většinu společností to může být trochu přes palubu, ale můžete použít obecný princip, aniž byste jej museli kvantifikovat ve vzorci., Dejte nám vědět, pokud byste chtěli být beta testerem tohoto nového nástroje 🙂
Ease
Ease je úroveň technických dovedností, která bude vyžadována k provedení změny.
Whew. Už jsme skoro hotoví. Naštěstí, snadnost je obvykle nejjednodušší Kategorie skóre. Stačí zvážit, kdo potřebujete provést změnu a kolik času jim to bude trvat. Zeptejte se sami sebe, zda některá z úprav souvisejících s konkrétním experimentem může provést někdo z vašeho týmu nebo zda budete muset přivést vývojáře nebo návrháře na palubu.,
rozdělit testovací nástroje jako Optimizely nebo Visual Website Optimizer usnadňují obchodníkům provádět jednoduché změny, jako je odstranění tlačítka nebo změna nadpisu. Změna celého stylu stránky nebo dokonce přidání nových stránek na web však může být mnohem komplikovanější.
Změny, jako je tento, bude pravděpodobně vyžadovat pomoc vývojáře a možná i textař získat práci správně. Nebojte se je zapojit a získat zde přesnější skóre.
jakmile zjistíte, kdo potřebujete provést daný test, zvažte, jak dlouho to bude trvat., Pokud budete muset zaplatit developer pro hodiny a hodiny práce, nebo najmout externího dodavatele, nebo ztratit člena marketingového týmu na týden, dát test nižší Zmírnit skóre. Pokud to nebude trvat dlouho a potřebujete jen jednoho člena vašeho týmu, dejte mu vyšší skóre.
ověření úspěchu
vice framework usnadňuje proces správného testování A / B různých prvků webové stránky, aniž by byl ohromen., Rámec vás však nemůže chránit před chybami v úsudku, které byste mohli udělat, když se snažíte zjistit, zda byl experiment úspěšný nebo ne.
v některých případech to může vypadat, jako byste zlepšili konverze, ale v průběhu času mohou změny způsobit konzistentní zvýšení konverzí. Chcete-li se chránit před takovou situací, musíte zajistit, aby vaše výsledky byly považovány za statisticky významné.
pokud nejsou statisticky významné, to, co si myslíte, že je zlepšení, by ve skutečnosti mohlo být výsledkem flash-in-the-pan., V ideálním případě by vaše experimenty měly mít statistickou významnost nejméně 95%. Kontrolou statistické významnosti vašich výsledků a zajistit, že skóre nad 95%, můžete spolehlivě určit, zda máte výherní variace na ruce a zda změny stojí za to udržet.
Nyní, pokud nejste matematicky nakloněni nebo vás pojem statistické významnosti děsí-nebojte se. Vytvořili jsme testovací kalkulačku Effin a/B. Toto jednoduché rozšíření Chrome lze použít k určení, zda jsou vaše výsledky statisticky významné.,
je to velmi snadné použití. Jediné, co musíte udělat, je dát do provozu a konverzních čísel a nástroj zobrazí vaše výsledky. Není třeba si pohrávat s komplikovanými vzorci!
samozřejmě můžete používat jiné nástroje a metody. Ať už děláte cokoli, ujistěte se, že vždy zkontrolujete statistickou významnost vašich výsledků, než se rozhodnete pro vítěznou variantu.
závěr
provádění experimentů A / B může být velmi ohromující, velmi rychle. Pomocí našeho VICE přístupu, nicméně, můžete tomu zabránit., Pokud trávíte čas potřebný k tomu, abyste přišli s hypotézami, vše, co musíte udělat, je použít přístup VICE, abyste zjistili, kam byste se měli zaměřit.
jakmile vygenerujete některá data související s testem, zkontrolujte jeho statistickou významnost. V závislosti na vráceném výsledku budete vědět, zda změny stojí za to zachovat. A / B testování je něco, co budete chtít udělat co nejdříve, tak zkuste a přijmout opatření na to, co jste se naučili rychle.
jistě, možná nebudete mít věci hned napoprvé-ale mravnostní přístup určitě sníží šance na selhání a zbytečné úsilí.,