Madame Lelica

A/B tesztelés kell valamit csinálni most, különösen mikor a kis javulást mondjuk 1% vagy 2% képes lenyűgöző bevétel fejlesztések le a sort.

mi az A/B tesztelés?

mielőtt belemennénk egy csodálatos a/B tesztelési keretrendszer sajátosságaiba, tegyünk egy lépést hátra, és biztosítsuk, hogy mindannyian ugyanazon az oldalon vagyunk, amikor általában az A/B tesztről beszélünk., A / B tesztelés a digitális marketingben és konverzió optimalizálásban, más néven a / B tesztelés, vagy a / B tesztelés, egy weboldal vagy alkalmazás két változatának tesztelése ellenőrzött különbségekkel.

az oldalak véletlenszerűen kerülnek bemutatásra a felhasználók számára. A teljesítményadatok összegyűjtésével az oldalakat elemezzük annak meghatározására, hogy melyik verzió teljesít jobban.

milyen előnyei vannak az A/B tesztelésnek?

egy weboldal vagy alkalmazás statisztikai szigorral történő tesztelése lehetővé teszi az oldal mérését és optimalizálását annak biztosítása érdekében, hogy maximalizálja a konverziókat., Függetlenül attól, hogy a fejléc módosítását vagy csak egy gomb színét teszteli, ne támaszkodjon elméletre, hogy irányítsa ezeket a döntéseket, tesztelje, és lehetővé tegye az adatok számára a döntéshozatalt.

tegyünk néhány gyors matematikát, hogy képet festsünk arról, hogy milyen hatással lehet.
Képzeld el, hogy a terméked 100 dollárnál értékesít, és havonta 10 000 látogatásod van a weboldaladon. 3% – uk átalakítani, generáló $30,000 bevétel, hogy egy termék.
az A / B teszt néhány változtatást az oldalon, a teszt azt mutatja, hogy az új oldalverzió 3% – kal javítja a konverziós arányt (tehát most a látogatók 3,09% – át konvertálja)., Kevesebb, mint 0.1% további konverziók nem hangzik soknak, de éppen most generált egy további $900 havonta bevétel. Még akkor is, ha abbahagyod a tesztelés ezen a ponton, hozzáadott $10,800 éves bevétel

Ha továbbra is vizsgálatot, továbbá a vizsgálat két alkalommal ugyanazt az eredményt egy 3% – os javulás a konverziós arány, a konverziós arány megy fel 9.3% (1.03 * 1.03 * 1.03). Ez olyan, mint az érdeklődés összeadása. Az első hónapban az új konverziós arány lesz egy inkrementális konverziós értéke $2,782. Egy év alatt ez 33 382 Dollár növekményt eredményez.,

ebben a példában a tesztelés több mint egy hónapos többletbevételhez vezetett.

Felhívjuk figyelmét, hogy ez a forgalom állandó maradásával történik. Nem fektettél be nagyobb mennyiségű hirdetésbe, több tartalomelosztó e-mailbe, webhely-szintű SEO-ba, vagy bármi másba, ami növeli a forgalmat. Csak egyre több értéket kap a forgalomból, amit már kap. Optimalizálod az egyes látogatók $ – értékét.

milyen típusú A / B tesztelés eredményeket?

számos mutató, sőt az adatok területei is felfedezhetők., Itt vannak 3 ways tudjuk alkalmazni osztott tesztelés annak biztosítása érdekében, hogy a lehető legjobb konverziós arányok.

Pricing Experiments

volt egy marketingelmélet, hogy a 7-ben végződő árak valójában jobban átalakultak, mint bármely más szám. Miért? Mivel a 0-val (nulla) befejezett ár túl általánosnak bizonyult, nem eléggé specifikus, a 9-et általánosan használták. Aztán a 9-ben végződő árak annyira általánossá váltak, hogy már nem okoz jelentős pozitív reakciót, és nem befolyásolja az átváltási árfolyamot. Akkor mit gondolsz, miért látod, hogy az árak 7-ben végződnek?,

az 7-et eredetileg egy A / B teszttel bizonyították, ahol az árképzést tesztelték a legjobb optimalizálási pont megtalálása érdekében. Ez az, amit az adatok javasoltak, és még mindig látni néhány SaaS árak.

lehet, hogy nem ez a megfelelő ajánlás az Ön weboldala és közönsége számára. Ez egy jó ötlet, hogy futtassa a saját tesztek, és keresse meg a számot, amely a legjobban átalakítja az Ön számára különösen. Használja a legjobb gyakorlat, valamint az iparági ismeretek irányítani, amit megpróbál, de hagyja, hogy a saját a / B vizsgálati adatok meghajtására a döntést.,

színelmélet

egy másik példa egy weboldal vagy egy adott oldal a/B verzióinak tesztelésére, a CTA színe.

a sárga sokáig népszerű kedvenc volt. Ismét a B tesztelésnek köszönhetően az adatok azt mutatták, hogy a sárga gombok jobban átalakultak. Azóta az ipar jobban tesztelte a színeket.

a mélyebb vizsgálatokból származó adatok azt sugallják, hogy inkább a háttér és a CTA közötti kontraszthoz kapcsolódik. Nem feltétlenül Sárga, hogy mennyire szemet gyönyörködtető a CTA keretében az oldal., De, ez mindig egy jó ötlet, hogy teszteljék variációk, hogy mi működik az adott CTA keretében a konkrét branding.

Egérkövetés

valami olyan egyszerű, mint a felhasználó utazásának nyomon követése egy weboldalon, nagyszerű CSELEKVHETŐ CRO-adatokhoz vezethet. Hol koncentrálják a látogatók az idejüket és a figyelmüket? Hol jutnak el az oldalra, amikor úgy döntenek, hogy távoznak?

számos egérkövető és hőtérkép-szoftver mutatja, hogy pontosan hol tölti a felhasználó az idő nagy részét, és hol száll le., A felhasználó interakciójának ilyen módon történő tesztelésével lehetővé teheti az adatok számára a funkciók elrendezésének, a CTA elhelyezéseinek stb.

az ilyen típusú ismeretekkel képzett döntéseket hozhat a tesztek megtervezéséhez és a változások eredményeinek méréséhez.

heurisztikus elemzés

nem elég egy jó megjelenésű weboldal vagy alkalmazás megtervezése; az oldalnak meg kell győznie a közönséget a kívánt művelet befejezésére.

a heurisztika olyan empirikus hüvelykujjszabályok vagy bevált gyakorlatok, amelyeket a múltban teszteltek, és amelyeket UX minták előállítására hajtanak végre., Azonban minden oldal, termék és szolgáltatás egyedi. Ahelyett, hogy csak annak biztosítása, hogy az oldal illeszkedik az iparág legjobb gyakorlatához, azaz a legjobb gyakorlat, amely valaki más teszteléséből származik, érdemes olyan elemeket tesztelni, mint például a cselekvésre való felhívás elhelyezése és a konverziós arányok valós időben. Hagyja, hogy a weboldal tervezése adatvezérelt legyen.

az A/B tesztelési keretrendszer használatának fontossága

nem lehet csak az A/B tesztelésre rohanni. A véletlenszerű megközelítés kudarchoz vezet.,

ha olyan vagy, mint a legtöbb vállalat, akkor csak annyi erőforrásod és annyi pénzed van, ezért meg kell tanulnod rangsorolni—néha könyörtelenül. Ha nem, akkor a növekedés végül stagnál, vagy elkezd zsugorodni. Az A / B tesztelés a leggyorsabb, legegyszerűbb és legköltséghatékonyabb módja annak, hogy felfedezzük, hogyan lehet több forgalmat vezetni, több vezetést generálni, több értékesítést létrehozni. Ha az A/B teszteléssel szeretne sikert elérni, akkor idő előtt ki kell dolgoznia egy stratégiát és prioritásokat—ami bonyolult lehet.

itt McGaw.io, terveztünk valamit, amit a VICE A / B tesztelési keretrendszernek hívunk., Ezzel a keretrendszerrel el tudjuk kerülni a közös a/B tesztelési hibák nagy részét, amelyeket a stratégia és a szervezet hiánya okoz.

ebben a bejegyzésben átmegyünk a VICE keretrendszeren, és lebontjuk, hogy pontosan hogyan működik. Megvizsgáljuk, hogyan használhatja a VICE megközelítést a célok maximalizálására (például bevétel vagy felhasználói feliratkozás) anélkül, hogy több pénzt kellene költenie a forgalom vezetésére. Végül meg fogja érteni, hogyan kell használni ezt a keretet a saját vállalkozásában, hogy kihasználhassa mindazt, amit az A/B tesztelés kínál.,

hipotézisek létrehozásának fontossága

Ha megnézzük a McGaw.io blog, látni fogja, hogy már lefedtük az alapokat, hogy hogyan lehet elkezdeni az A/B tesztelést, mint például, hogy mit kell tesztelni, és milyen eszközöket kell használni.

ennek a bejegyzésnek a középpontjában az áll, hogy feltárja, hogyan végezhet olyan a/B teszteket, amelyek nagyobb valószínűséggel hoznak kedvező eredményeket—és ennek elérésének kulcsa az A / B teszteléshez szükséges VICE keretrendszerünk és sablonunk.

mielőtt bármilyen A/B tesztbe merülne, először hipotéziseket kell készítenie.,
hipotézisek lényegében mit gondol fog történni eredményeként, hogy bizonyos változások.

A VICE keretrendszer használatakor hipotéziseket használunk kiindulópontként. A hipotézisek generálása azért fontos, mert nélkülük a kísérleteknek nincs iránya. Ez egy jó ötlet, hogy dolgozzon ki egy széles körű hipotézisek idő előtt. Miután a különböző hipotézisek sorakoznak javítani fogja a képességét, hogy gyorsan végre tesztek a jövőben, növelve a sebességet, amellyel növelheti weboldal konverziók.,

legalább egy hipotézist kell létrehoznia a tesztelni kívánt oldal minden eleméhez.

Pro Tip: tartózkodjon az A / B tesztelésétől egy oldal egynél több elemének egy adott időpontban. Az oldal több elemének egyszerre történő tesztelése megnehezíti annak megállapítását, hogy mely változások vezetnek bizonyos eredményekhez.

Pro Tip: tartózkodjon az A / B tesztelésétől egy oldal egynél több elemének egy adott időpontban. Az oldal több elemének egyszerre történő tesztelése megnehezíti annak megállapítását, hogy mely változások vezetnek bizonyos eredményekhez.,

Pro tipp: bár hasznos lehet némi háttérismeret arról, hogy mi működik jól a tesztek futtatásakor, nem mindig kell követnie a legjobb gyakorlatot. Bizonyos esetekben előfordulhat, hogy a radikális változások és a bevált gyakorlatok elleni küzdelem valójában jobb konverziókhoz vezet.

A VICE megközelítés

az A / B tesztelés során fontos, hogy gyors nyereményeket szerezzen az öv alatt.

amikor gondoskodik az alacsonyan lógó gyümölcsről, jobb helyzetben van, hogy időt töltsön a nagyobb kihívást jelentő kísérletekre, amelyekben ásni szeretne., Plusz, minél hamarabb van néhány nyerő A / B teszt, annál többet nyersz a javuló konverziókkal járó összetett fejlesztésekből.

Pro tipp: ha ügyfélmunkát végez, a gyors nyerések generálása még fontosabb lehet, mivel lehetőséget ad arra, hogy bebizonyítsa, hogy az A/B tesztelésre érdemes összpontosítani.

ezt szem előtt tartva, hogyan lehet azonosítani az alacsonyan lógó gyümölcsöt, és meghatározni azokat a kísérleteket vagy hipotéziseket, amelyek valószínűleg működnek?

persze, egy kristálygömb hasznos lehet itt, de esélye van, hogy nincs ilyen.

Mindazonáltal, itt McGaw.,io, úgy gondoljuk, hogy a következő legjobb dolog—a VICE megközelítés.

ALELNÖK jelentése:

• V – Sebesség
• I – Hatás
• C – Bizalom
• E – Könnyű

Az ötlet az, hogy a pontszám a hipotézisek a 0-10 (10 legmagasabb/legelőnyösebb), kapcsolatos minden, a fenti tényezők.

ezután össze ezeket a pontszámokat, hogy van egy “összesen.”

Szerezd meg a VICE Framework sablont itt!,

Ez az összeg segít a hipotézis vagy kísérlet valószínűségének kiszámításában, ha összehasonlítjuk az összes többi tesztet, amelyet egy webhelyen vagy oldalon szeretne futtatni. Ha keres, hogy létrehoz néhány gyors győzelem, hasznos lehet, hogy fontossági sorrendbe a vizsgálatokat, amelyek a legmagasabb pontszámot.

ez Itt egy áttekintést, mit a keret úgy néz ki, mint a cselekvés, a VICE rész kiemelve:

Ha a nagyítás közelebbről, akkor láthatja, hogy mi formában hipotézisek, pontszám minden kategóriában, majd ellenőrizzük az eredményt.,

mindegyik kategória különböző tényezőket képvisel, amelyeket figyelembe kell vennie az A/B teszt futtatásakor. Vessünk egy közelebbi pillantást mindegyik, így lehet adni, hogy a lehető legpontosabb pontszámot.

Velocity

Velocity az a sebesség, amellyel a vizsgálatot lehet futtatni.
a sebesség pontszámának két fő tényezőn kell alapulnia: (1) mekkora forgalmat bonyolít egy oldal, és (2) milyen észrevehető változás lesz.

mennyi forgalom
általában minél nagyobb forgalmat hoz egy webhely, annál gyorsabban futtatható a teszt., A nagyobb forgalom több adatot jelent, a több adat pedig azt jelenti, hogy kevesebb időt vesz igénybe a munka, ha az eredmények statisztikailag szignifikánsak (amit később fedezünk).

amikor a Velocity-t kapjuk, integráljuk a Google Analytics-et, hogy a lehető legpontosabb számot kapjuk (szeretnénk, ha integrálnánk az Ön VICE keretrendszerét a google-ba, vegye fel velünk a kapcsolatot.). A sebesség beállítása az oldalon áthaladó forgalom mennyisége alapján történik. Ha egy oldal hetente 50 000 embert kap, elég gyorsan elérhetjük a statisztikai jelentőséget., Ha egy oldal csak heti 500 találatot kap, akkor hosszabb ideig tart, amíg elegendő adat áll rendelkezésre ahhoz, hogy magabiztos legyen az eredményekben

a változás merészsége
A statisztikai szignifikancia elérése nem csak arról szól, hogy hány ember jön a webhelyére. Arról is szól, hogy milyen nagy vagy észrevehető a változás, amelyet tesztel. Minél kevésbé észrevehető a változás, annál kevésbé valószínű, hogy befolyásolja a felhasználói viselkedést, így minél hosszabb ideig tart a teszt statisztikai jelentőségének elérése., Például, ha frissíti a navigációs szöveget egy félkövér betűtípusra, ez valószínűleg nem növeli a drámai kattintások számát-így hosszabb időt vesz igénybe, hogy elérje azt a szintet, ahol biztos lehet benne, hogy a változás változik.

Ha azonban drámai változást hajt végre, gyorsabban érheti el a statisztikai jelentőséget. Például, több felhasználó fog észrevenni egy teljesen új call-to-action gombot, így meg kell kap elég adat, hogy magabiztos az eredményeket rövidebb idő alatt.,

gondolj rá így: ha a teszt drámaibb vagy polarizálódik a felhasználói élményhez, akkor számíthat arra, hogy a sebesség magasabb lesz, mert gyorsabban lát különbséget.

egyéb tényezők
fontos, hogy megnézzük a forgalmi számokat annak függvényében, hogy hány lehetőség van egy adott oldalon. Minél több lehetőség van (például linkek), annál hosszabb ideig tart a teszt elvégzése.

és az Ön üzleti vagy értékesítési ciklusa alapján más tényezőket is figyelembe kell vennie., Például, ha az egyik termék értékesítési ciklusa hat hét hosszú, akkor egy hét alatt még egy kis tesztet sem tud befejezni.

próbálja meg figyelembe venni az egyéni üzleti korlátokat a pontozási sebességnél.

Impact

Impact mennyi változás fog hozzájárulni a konverziók javulásához.
Ha figyelembe vesszük, hogy milyen hatással pontszám, hogy egy adott hipotézist, fontos, hogy először gondolni a cél. Ha a cél az, hogy növelje az ingyenes próbaverzió használatát, akkor az ingyenes próbaverzió oldalán bekövetkező bármilyen változás magasabb ütési pontszámot kap., Ha növelni szeretné az e-mail elfog adni az értékesítési csapat több vezet, adjon magasabb pontszámot, hogy a hipotézisek, amelyek valószínűleg hatása, hogy a területen.

miután a célt szem előtt tartotta, három további tényezőt kell figyelembe venni: (1) A változás merészsége, (2) az oldal elhelyezése a tölcsérben, és (3) az analitikai adatok.

a változás merészsége
amint azt a fenti sebességgel említettük, minél észrevehetőbb a változás a felhasználók számára, annál valószínűbb, hogy befolyásolja viselkedésüket., A drámai változásoknak általában magasabb hatáspontjuk van, mivel a felhasználók nagyobb valószínűséggel veszik észre őket, így nagyobb valószínűséggel befolyásolják az átváltási árfolyamot.

elhelyezés a tölcsérben
fontos figyelembe venni azt is, hogy hol van az oldal a tölcsérben. Általánosságban elmondható, hogy a tölcsér tetejének közelében lévő oldalak gyakran nagyobb hatással lesznek, mint az alján található oldalak—egyszerűen azért, mert több felhasználó látja őket. Így például a Kezdőlap megváltoztatása magasabb Hatáspontot érhet el, mint egy szolgáltatási oldal.

a másik típusú oldal, amely általában nagy hatást ér el, a pénztár és az árazási oldalak., Impact pontszám magasabbnak kell lennie minden olyan helyen, ahol a felhasználók próbálnak pénzt adni. Azt akarja, hogy ez a folyamat a lehető legegyszerűbb legyen.

analitikai adatok
végül meg szeretné nézni az elemzési adatait, hogy segítsen a hatás elérésében (segítségre van szüksége az elemzési adatok megtekintéséhez, vegye fel velünk a kapcsolatot). Ha a Google Analytics-et (és annak is kellene lennie) és a Google e-kereskedelmet használja, akkor egy oldal értékét láthatja a tölcsérben. Minél magasabb az oldal értéke a Google Analytics-ben, annál nagyobb a hatás pontszám.,

Ha azt szeretnénk, hogy nagyon jó, hogy van egy titkos VICE-keretrendszer, amely integrálja közvetlenül a Google Analytics-fiókot, majd húzza a Sebességet, a hirdetés Hatása alapján, a számok, a Google Analytics. Lépjen kapcsolatba velünk, ha azt szeretnénk, hogy csodálatos.

bizalom

a bizalom az, hogy hogyan érzi magát egy adott hipotézis esélyeiről, amely kedvező eredményeket hoz.
minél többet tud az ilyen típusú tesztelésekről, annál pontosabb lesz, amikor a megbízhatósági minősítéseket idő előtt felírják., Ennek oka az, hogy annak ellenére, hogy az A/B tesztelés eseti alapon működik, rájössz, hogy gyakori problémák merülnek fel, amelyeket gyakran közös megoldásokkal lehet megoldani. Egy példa erre lehet A felvétel egy ajánlólevél a céloldalon.

ha teljesen új vagy a teszteléshez, ne gondold túl, hogy mi a legjobb tipped. A hipotézisek létrehozásának és a bizalom leírásának folyamata révén gyorsan jobban megértheti, hogy mely tesztek valószínűleg sikeresek.,

a start hogy jóslatok, ez hasznos lehet nyomon követni, hogy a csapat csinál, amikor előre—nem mint valamiféle büntetés (A/B tesztelés lehet válogatós, még egy szakértő), de mint oktatási lehetőséget. Gyakran látható minták a bizalom pontszámok. Lehet, hogy valaki a csapatodban mindig túlbecsüli a szín hatását, vagy valaki más alábecsüli a honlap fontosságát.,

ha valaki következetesen egyre több helyes találgatások, akkor a többi csapat, lehet, hogy még egy jó ötlet, hogy egy kicsit magasabb számot a vizsgálatok, hogy nagy a bizalom.

mivel adatok által vezérelt vállalat vagyunk, olyan modellt építünk, amely figyelembe veszi a múltbeli teljesítményt, és szükség esetén automatikusan csökkenti vagy megdönti csapatunk pontszámait. Ez a legtöbb vállalat számára kissé túlzó lehet, de az általános elvet alkalmazhatja anélkül, hogy egy képletben számszerűsítenie kellene., Tudassa velünk, ha azt szeretné, hogy egy béta tesztelő az új eszköz 🙂

könnyű

könnyű a szint a technikai készség, hogy szükség lesz, hogy a változás.
Mindjárt végzünk. Szerencsére a könnyű általában a legegyszerűbb kategória. Csak azt kell figyelembe venni, hogy ki kell, hogy a változás, hogy mennyi időt vesz igénybe őket. Kérdezd meg magadtól, hogy egy adott kísérlethez kapcsolódó módosításokat elvégezheti-e valaki a csapatodban, vagy ha fejlesztőt vagy tervezőt kell a fedélzetre hoznia.,

osztott tesztelő eszközök, mint például az Optimizely vagy a Visual Website Optimizer, megkönnyítik a marketingszakemberek számára, hogy egyszerű változtatásokat hajtsanak végre, mint például egy gomb eltávolítása vagy egy címsor megváltoztatása. Az oldal teljes stílusának módosítása, vagy akár új oldalak hozzáadása a webhelyhez sokkal bonyolultabb lehet.

Az ilyen változtatások valószínűleg egy fejlesztő, esetleg egy copywriter segítségét igénylik a munka megfelelő elvégzéséhez. Ne félj, hogy hurok őket, és kap egy pontosabb pontszámot itt.

miután meghatározta, hogy ki kell végrehajtania egy adott tesztet, fontolja meg, mennyi ideig tart., Ha órákig és órákig kell fizetnie a fejlesztőnek, vagy bérelnie kell egy külső vállalkozót, vagy egy hétig el kell veszítenie a marketingcsapat tagját, akkor adja meg a tesztnek az alacsonyabb könnyű pontszámot. Ha ez nem fog sok időt vesz igénybe, és csak szüksége van egy tagja a csapatnak, hogy ez egy magasabb pontszámot.

siker validálása

a VICE keretrendszer sokkal könnyebbé teszi a weboldal különböző elemeinek megfelelő a / B tesztelésének folyamatát anélkül, hogy túlterheltek lennének., A keretrendszer azonban nem tudja megvédeni Önt az ítélet hibáitól, amikor megpróbálja meghatározni, hogy egy kísérlet sikeres-e vagy sem.

bizonyos esetekben úgy tűnhet, mintha javult volna a konverziók, de idővel a változások nem eredményezhetik a konverziók következetes növekedését. Annak érdekében, hogy megvédje magát egy ilyen helyzettől, gondoskodnia kell arról, hogy eredményeit statisztikailag szignifikánsnak tekintsék.

ha nem statisztikailag szignifikánsak, akkor az, amit úgy gondolja, hogy javulás, valójában csak egy flash-in-the-pan eredmény lehet., Ideális esetben a kísérleteknek legalább 95% – os statisztikai jelentőséggel kell rendelkezniük. Az eredmények statisztikai jelentőségének ellenőrzésével, valamint annak biztosításával, hogy 95% feletti pontszámot érjenek el, megbízhatóan meghatározhatja, hogy van-e nyerő variációja a kezedben, és érdemes-e megtartani a változásokat.

most, ha matematikailag nem vagy hajlamos, vagy a statisztikai szignifikancia fogalma megrémít—ne aggódj. Létrehoztuk az Effin A / B teszt számológépet. Ez az egyszerű Chrome-bővítmény felhasználható annak meghatározására, hogy az eredmények statisztikailag szignifikánsak-e vagy sem.,

nagyon könnyen használható. Mindössze annyit kell tennie, hogy a forgalom és a konverziós számok, valamint az eszköz megmutatja az eredményeket. Nem kell, hogy szórakozz körül semmilyen bonyolult képletek!

természetesen szabadon használhat más eszközöket és módszereket is. Bármit is csinálsz, csak győződjön meg róla, hogy mindig ellenőrizze az eredmények statisztikai jelentőségét, mielőtt egy nyerő variációról döntene.

következtetés

Az A/B kísérletek elvégzése nagyon elsöprővé, nagyon gyorsan válhat. A mi VICE megközelítés, azonban, meg tudja akadályozni, hogy., Feltéve, hogy a hipotézisek kidolgozásához szükséges időt tölti, mindössze annyit kell tennie, hogy használja a VICE megközelítést, hogy kitalálja, hol kell összpontosítania.

miután létrehozott néhány, a teszthez kapcsolódó adatot, ellenőrizze annak statisztikai jelentőségét. Attól függően, hogy az eredmény vissza, tudni fogja, ha a változások érdemes tartani. Az A/B tesztelés olyan dolog, amit a lehető leghamarabb meg kell tennie, ezért próbáljon meg gyorsan cselekedni a tanultakkal kapcsolatban.

persze, lehet, hogy nem kap a dolgok jobb az első alkalommal körül—de a VICE megközelítés biztosan csökkenti az esélye a kudarc, kárba.,