A/B testing jest czymś, co musisz teraz robić—szczególnie, gdy małe ulepszenia powiedzmy 1% lub 2% mogą przynieść imponującą poprawę przychodów w dół linii.
Co to jest test A/B?
zanim przejdziemy do specyfiki niesamowitego frameworka do testowania A/B, zróbmy krok w tył i upewnijmy się, że wszyscy jesteśmy po tej samej stronie, gdy mówimy o testach A / B w ogóle., Testowanie A / B w marketingu cyfrowym i optymalizacji konwersji, pisane również jako testowanie A/B lub testowanie A / B, jest procesem testowania dwóch wersji strony internetowej lub aplikacji z kontrolowanymi różnicami.
strony prezentowane są użytkownikom losowo. W miarę gromadzenia danych o wydajności strony są analizowane w celu określenia, która wersja działa lepiej.
jakie są zalety testów A/B?
testowanie odmian strony internetowej lub aplikacji z rygorem statystycznym pozwala zmierzyć i zoptymalizować stronę, aby upewnić się, że maksymalizujesz konwersje., Niezależnie od tego, Czy testujesz zmianę nagłówka, czy tylko kolor przycisku, nie polegaj na teorii, aby kierować tymi decyzjami, testuj ją i pozwól, aby dane napędzały podejmowanie decyzji.
zróbmy szybką matematykę, aby namalować obraz wpływu, jaki może mieć.
wyobraź sobie, że twój produkt sprzedaje się za 100 $i masz 10 000 wizyt miesięcznie na swojej stronie. 3% z nich przelicza się, generując 30 000 dolarów przychodu dla tego jednego produktu.
testujesz kilka zmian na stronie, a twój test pokazuje, że nowa wersja strony poprawia współczynnik konwersji o 3% (więc teraz konwertujesz 3,09% odwiedzających)., Mniej niż 0.1% dodatkowych konwersji nie brzmi jak dużo, ale właśnie wygenerowałeś dodatkowe $ 900 miesięcznie w przychodach. Nawet jeśli przestaniesz testować w tym momencie, dodasz roczny dochód w wysokości 10 800 USD
Jeśli nadal będziesz testować i przetestujesz dwa razy z takim samym wynikiem 3% poprawy współczynnika konwersji, Twój Współczynnik konwersji wzrośnie o 9.3% (1.03 * 1.03 * 1.03). To coś jak spłacanie odsetek. Twój pierwszy miesiąc po nowym kursie konwersji będzie miał przyrostową wartość konwersji $2,782. W ciągu roku, spowoduje to przyrost $ 33,382.,
w tym konkretnym przykładzie testy doprowadziły do ponad miesięcznego przyrostu przychodów.
należy pamiętać, że odbywa się to przy stałym ruchu. Nie zainwestowałeś w większą liczbę reklam, więcej wiadomości e-mail z dystrybucją treści, SEO w całej witrynie ani nic innego, co zwiększyłoby Twój ruch. Po prostu zyskujesz większą wartość z natężenia ruchu, które już dostajesz. Optymalizujesz wartość $każdego odwiedzającego.
jakie rodzaje testów A/B dają wyniki?
istnieje wiele wskaźników, a nawet obszarów danych do zbadania., Oto 3 sposoby, w jakie możemy zastosować testy dzielone, aby zapewnić najlepsze możliwe współczynniki konwersji.
eksperymenty cenowe
kiedyś istniała teoria marketingowa, że ceny kończące się na 7 faktycznie przeliczyły się lepiej niż jakakolwiek inna liczba. Dlaczego? Ponieważ cena, która kończy się na 0 (zero), okazała się zbyt ogólna, niewystarczająco szczegółowa, 9 stało się powszechnie używane. Następnie ceny kończące się na 9 stały się tak powszechne, że nie wzbudzają już zauważalnej pozytywnej odpowiedzi i nie wpływają na Współczynnik konwersji. Więc dlaczego uważasz, że widzisz ceny kończące się w 7 teraz?,
7 został pierwotnie sprawdzony za pomocą testu A / B, w którym testowano ceny w celu znalezienia najlepszego punktu optymalizacji. To właśnie sugerowały Dane i nadal można to zobaczyć w niektórych cenach SaaS.
może to nie być odpowiednia rekomendacja dla Twojej witryny i odbiorców. To dobry pomysł, aby uruchomić własne testy, i znaleźć numer, który najlepiej konwertuje dla Ciebie w szczególności. Wykorzystaj najlepsze praktyki i wiedzę branżową, aby kierować tym, co próbujesz, ale pozwól, aby twoje własne dane z testów A/B napędzały decyzję.,
teoria kolorów
Innym przykładem testowania wersji A / B strony internetowej lub konkretnej strony jest kolor CTA.
żółty był przez długi czas popularnym faworytem. Ponownie, dzięki testom B, dane wykazały, że żółte przyciski są lepiej konwertowane. Od tego czasu przemysł testował więcej kolorów.
dane z bardziej dogłębnych testów sugerują, że jest to bardziej związane z kontrastem między tłem a CTA. Niekoniecznie żółty, jak przyciąga wzrok CTA w kontekście strony., Ale zawsze dobrze jest przetestować wariacje i zobaczyć, co działa dla Twojego konkretnego CTA w kontekście twojego konkretnego brandingu.
śledzenie myszy
coś tak prostego, jak śledzenie podróży Użytkownika na stronie internetowej może prowadzić do świetnych danych CRO. Gdzie odwiedzający skupiają swój czas i uwagę? Gdzie trafiają na stronę, gdy decydują się na wyjazd?
istnieje wiele programów do śledzenia myszy i map cieplnych, które pokazują, gdzie dokładnie na stronie użytkownik spędza większość czasu i gdzie odpada., Testując w ten sposób interakcję użytkownika z Twoją witryną, możesz zezwolić danym na określenie układów funkcji, lokalizacji CTA itp.
dzięki tej wiedzy jesteś w stanie podejmować świadome decyzje dotyczące projektowania testów i mierzenia wyników tych zmian.
analiza heurystyczna
nie wystarczy zaprojektować dobrze wyglądającą stronę internetową lub aplikację; strona musi również przekonać odbiorców do wykonania pożądanej czynności.
heurystyka są empirycznymi regułami lub najlepszymi praktykami, które zostały przetestowane w przeszłości i są wdrażane do tworzenia projektów UX., Jednak każda strona, produkt i usługa jest wyjątkowa. Zamiast dbać o to, aby Twoja strona była zgodna z najlepszymi praktykami branżowymi, tj. najlepszymi praktykami wynikającymi z cudzych testów, warto testować elementy, takie jak umieszczenie wezwania do działania i współczynniki konwersji w czasie rzeczywistym. Pozwól, aby projekt Twojej strony był oparty na danych.
Znaczenie korzystania z frameworka testowego A/B
nie możesz po prostu spieszyć się z testowaniem a / B. Przypadkowe podejście doprowadzi do porażki.,
Jeśli jesteś jak większość firm, masz tylko tyle zasobów i tyle pieniędzy, więc musisz nauczyć się ustalać priorytety—czasami bezlitośnie. Jeśli nie możesz, twój wzrost będzie ewentualny stagnacji, lub zaczniesz kurczyć. Testy A / B to najszybszy, najłatwiejszy i najbardziej opłacalny sposób, aby dowiedzieć się, jak zwiększyć ruch, generować więcej potencjalnych klientów, tworzyć więcej sprzedaży. Jeśli chcesz odnieść sukces z testami A/B, musisz opracować strategię i priorytety z wyprzedzeniem—co może być trudne do zrobienia.
tutaj na McGaw.io zaprojektowaliśmy coś, co nazywamy VICE A/B testing framework., Korzystając z tego frameworka, jesteśmy w stanie uniknąć wielu typowych błędów w testach A/B, które są spowodowane brakiem strategii i organizacji.
w tym poście przejdziemy przez ramy obyczajowe i dokładnie opiszemy, jak to działa. Zbadamy, w jaki sposób możesz wykorzystać podejście VICE, aby zmaksymalizować swoje cele (takie jak przychody lub rejestracja użytkowników) bez konieczności wydawania większych pieniędzy na prowadzenie ruchu. Na koniec zrozumiesz, jak korzystać z tego frameworka we własnej firmie, aby móc korzystać ze wszystkiego, co ma do zaoferowania Testy A / B.,
znaczenie tworzenia hipotez
Jeśli spojrzeć na McGaw.io na blogu zobaczysz, że omówiliśmy już podstawy, jak zacząć testować A/B, na przykład co przetestować i jakich narzędzi użyć.
celem tego postu jest zbadanie, w jaki sposób można przeprowadzić testy A / B, które są bardziej prawdopodobne, aby przynieść korzystne wyniki—a kluczem do osiągnięcia tego jest nasze ramy i szablon dla testów A/B.
zanim zaczniesz testować A/B, najpierw musisz sformułować kilka hipotez.,
hipotezy są zasadniczo tym, co według Ciebie stanie się w wyniku dokonania pewnych zmian.
korzystając z frameworka VICE, wykorzystujemy hipotezy jako punkt wyjścia. Generowanie hipotez jest ważne, ponieważ bez nich twoje eksperymenty będą pozbawione kierunku. Dobrym pomysłem jest wcześniejsze sformułowanie szeregu hipotez. Posiadanie różnych hipotez w kolejce poprawi Twoją zdolność do szybkiego wdrażania testów w przyszłości, zwiększając szybkość, z jaką możesz podnieść konwersje witryny.,
powinieneś utworzyć co najmniej jedną hipotezę dla każdego elementu strony, którą chcesz przetestować.
Pro Tip: powstrzymaj się od testowania A / B więcej niż jednego elementu strony w danym momencie. Testowanie wielu elementów strony jednocześnie sprawia, że trudno jest ustalić, które zmiany faktycznie prowadzą do określonych wyników.
Pro Tip: powstrzymaj się od testowania A / B więcej niż jednego elementu strony w danym momencie. Testowanie wielu elementów strony jednocześnie sprawia, że trudno jest ustalić, które zmiany faktycznie prowadzą do określonych wyników.,
Pro Wskazówka: chociaż może być pomocna wiedza na temat tego, co działa dobrze podczas testów, nie zawsze musisz przestrzegać najlepszych praktyk. W niektórych przypadkach może się okazać, że Dokonywanie radykalnych zmian i sprzeciwianie się najlepszym praktykom faktycznie prowadzi do lepszych konwersji.
podejście VICE
jeśli chodzi o testy A / B, ważne jest, aby uzyskać kilka szybkich zwycięstw pod pasem.
Kiedy dbasz o nisko wiszące owoce, jesteś w lepszej pozycji, aby spędzić czas na bardziej wymagających eksperymentach, w których chcesz kopać., Co więcej, im szybciej zdobędziesz zwycięskie testy A / B, tym więcej zyskasz dzięki ulepszeniom składającym się z ulepszania konwersji.
Pro Tip: jeśli wykonujesz pracę z klientem, generowanie szybkich wygranych może być jeszcze ważniejsze, ponieważ daje możliwość udowodnienia, że warto się skupić na testach A / B.
mając to na uwadze, jak można zidentyfikować nisko wiszący owoc i określić eksperymenty lub hipotezy, które są najbardziej prawdopodobne?
jasne, Kryształowa kula może tu być pomocna, ale szanse są takie, że jej nie masz.
jednak tutaj w McGaw.,io, myślimy, że mamy następną najlepszą rzecz—podejście do występku.
VICE oznacza:
- V – Velocity
- I – Impact
- C – Confidence
- e – ease
chodzi o to, że oceniasz swoje hipotezy od 0-10 (10 jest najwyższa / najbardziej preferowana), w odniesieniu do każdego z powyższych czynników.
następnie podliczasz te wyniki tak, że masz „total.”
Pobierz szablon VICE Framework tutaj!,
ta suma pomaga obliczyć prawdopodobieństwo hipotezy lub eksperymentu, dając wyniki w porównaniu do wszystkich innych testów, które chcesz uruchomić na stronie lub stronie. Jeśli chcesz szybko wygrać, pomocne może być ustalenie priorytetów testom, które mają najwyższe wyniki.
oto przegląd tego, jak wygląda nasz framework w działaniu, z zaznaczoną sekcją VICE:
Jeśli przybliżymy i przyjrzymy się bliżej, Możesz zobaczyć, jak tworzymy hipotezy, oceniamy każdą kategorię i podliczamy sumy.,
każda z tych kategorii reprezentuje różne czynniki, które należy uwzględnić podczas uruchamiania testu A / B. Przyjrzyjmy się bliżej każdemu z nich, abyś mógł dać mu jak najdokładniejszy wynik.
prędkość
prędkość to prędkość, z jaką można przeprowadzić test.
Twój wynik prędkości powinien być oparty na dwóch głównych czynnikach: (1) ile ruchu uzyskuje strona i (2) Jak zauważalna będzie zmiana.
ile ruchu
ogólnie rzecz biorąc, im większy ruch przynosi Strona, tym szybciej można uruchomić test., Większy ruch oznacza więcej danych, a więcej danych oznacza, że opracowanie wyników zajmie mniej czasu, jeśli wyniki będą istotne statystycznie (o czym omówimy później).
gdy zdobędziemy punkty za prędkość, integrujemy się z Google Analytics, aby uzyskać jak najdokładniejszą liczbę możliwych (chcesz, abyśmy zintegrowali Twoją platformę VICE z google, skontaktuj się z nami.). Prędkość jest ustawiana na podstawie natężenia ruchu przechodzącego przez stronę. Jeśli strona dostaje 50 000 osób tygodniowo, możemy dość szybko trafić na znaczenie statystyczne., Jeśli strona dostaje tylko 500 odsłon tygodniowo, potrzeba więcej czasu, aby mieć wystarczającą ilość danych, aby mieć pewność wyników
śmiałość zmian
osiągnięcie istotności statystycznej nie polega tylko na tym, ile osób odwiedza Twoją stronę. Chodzi również o to, jak duża lub zauważalna jest zmiana, którą testujesz. Im mniej zauważalna zmiana, tym mniejsze prawdopodobieństwo, że wpłynie ona na zachowanie Użytkownika, tym dłużej potrwa osiągnięcie istotności statystycznej testu., Na przykład, jeśli zaktualizujesz tekst nawigacji do pogrubionej czcionki, prawdopodobnie nie zwiększy to dramatycznie liczby kliknięć, więc osiągnięcie poziomu, na którym możesz mieć pewność, że zmiana robi różnicę, zajmie więcej czasu.
Jeśli jednak dokonasz dramatycznej zmiany, możesz szybciej osiągnąć istotność statystyczną. Na przykład więcej użytkowników zauważy zupełnie nowy przycisk call-to-action, więc powinieneś uzyskać wystarczającą ilość danych, aby mieć pewność swoich wyników w krótszym czasie.,
pomyśl o tym w ten sposób: jeśli test jest bardziej dramatyczny lub polaryzuje się do doświadczenia użytkownika, powinieneś oczekiwać, że prędkość będzie wyższa, ponieważ zobaczysz różnicę szybciej.
inne czynniki
ważne jest również, aby spojrzeć na liczbę ruchu w odniesieniu do tego, ile opcji jest na danej stronie. Im więcej opcji (takich jak linki) jest, tym dłużej zwykle trwa Ukończenie testu.
i w zależności od Twojej firmy lub cyklu sprzedaży, mogą być inne czynniki, które musisz wziąć pod uwagę., Na przykład, jeśli cykl sprzedaży jednego z Twoich produktów trwa sześć tygodni, nie będziesz w stanie ukończyć nawet małego testu w ciągu tygodnia.
staraj się wziąć pod uwagę indywidualne ograniczenia biznesowe podczas zdobywania prędkości.
wpływ
wpływ oznacza, w jakim stopniu zmiana przyczyni się do poprawy konwersji.
kiedy zastanawiamy się, jaki wynik oddziaływania ma dać konkretna hipoteza, ważne jest, aby najpierw pomyśleć o swoim celu. Jeśli twoim celem jest zwiększenie wykorzystania bezpłatnego okresu próbnego, wszelkie zmiany na stronie bezpłatnego okresu próbnego uzyskają wyższy wynik Impact score., Jeśli chcesz zwiększyć przechwytywanie wiadomości e-mail, aby dać zespołowi sprzedaży więcej potencjalnych klientów, daj wyższy wynik hipotezom, które mogą mieć wpływ na ten obszar.
Gdy już masz na uwadze swój cel, należy wziąć pod uwagę trzy inne czynniki: (1) śmiałość zmiany, (2) umieszczenie strony w lejku i (3) dane analityczne.
śmiałość zmian
jak wspomnieliśmy powyżej, im bardziej zauważalna jest zmiana dla użytkowników, tym bardziej prawdopodobne jest, że wpłynie to na ich zachowanie., Dramatyczne zmiany zwykle mają wyższy wynik oddziaływania, ponieważ użytkownicy są bardziej narażeni na ich zauważenie, a tym samym są bardziej narażeni na wpływ na Współczynnik konwersji.
umieszczenie w lejku
ważne jest również, aby wziąć pod uwagę, gdzie znajduje się strona w lejku. Ogólnie rzecz biorąc, strony w górnej części lejka często będą miały większy wpływ niż te na dole—po prostu dlatego, że więcej użytkowników je zobaczy. Na przykład zmiana na stronie głównej może uzyskać wyższy wynik oddziaływania niż Strona usług.
innym typem strony, która zazwyczaj uzyskuje wysoki wynik oddziaływania, są strony kasy i cenniki., Impact score powinien być wyższy dla każdego miejsca, w którym użytkownicy próbują dać ci pieniądze. Chcesz, aby ten proces był jak najprostszy.
dane analityczne
wreszcie, będziesz chciał spojrzeć na swoje dane analityczne, aby pomóc ci ocenić wpływ (potrzebujesz pomocy patrząc na dane analityczne, skontaktuj się z nami). Jeśli korzystasz z Google Analytics (i powinieneś) i Google Ecommerce, możesz zobaczyć wartość strony w lejku. Im wyższa wartość strony w Google Analytics, tym wyższy powinien być wynik oddziaływania.,
Jeśli chcesz być naprawdę fajny, mamy tajną strukturę VICE, którą możemy zintegrować bezpośrednio z Twoim kontem Google Analytic i przyciągnąć wpływ reklam Velocity na podstawie liczb, które masz w Google Analytics. Skontaktuj się z nami, jeśli chcesz być niesamowity.
pewność siebie
pewność siebie jest tym, co myślisz o szansach na uzyskanie korzystnych wyników danej hipotezy.
im więcej wiesz o tego typu testach, tym dokładniejsze będziesz, jeśli chodzi o przepisywanie ocen zaufania z wyprzedzeniem., Dzieje się tak dlatego, że chociaż testy A/B mają tendencję do działania w każdym przypadku, przekonasz się, że pojawią się typowe problemy, które często można rozwiązać za pomocą wspólnych rozwiązań. Przykładem tego może być włączenie referencje na stronie docelowej.
Jeśli jesteś nowicjuszem w testowaniu, nie zastanawiaj się nad tym i nie zgaduj. Dzięki procesowi tworzenia hipotez i zapisywania pewności siebie, szybko zyskasz lepsze zrozumienie, które testy mogą odnieść sukces.,
gdy zaczynasz przewidywać, pomocne może być śledzenie, jak ty i twój zespół radzicie sobie w przewidywaniu-nie jako rodzaj kary (Test A/B może być wybredny nawet dla eksperta), ale jako okazja do nauki. Często można zobaczyć wzorce w wynikach zaufania. Może ktoś z twojego zespołu zawsze przecenia wpływ koloru lub ktoś inny nie docenia znaczenia strony głównej.,
Jeśli ktoś konsekwentnie ma więcej poprawnych domysłów niż reszta zespołu, to może być nawet dobrym pomysłem, aby dać nieco większą liczbę testom, na których ma duże zaufanie.
ponieważ jesteśmy firmą opartą na danych, budujemy model, który uwzględnia dotychczasowe wyniki i automatycznie zmniejsza lub obniża wyniki naszego zespołu w razie potrzeby. To może być trochę za dużo dla większości firm, ale można zastosować ogólną zasadę bez konieczności kwantyfikacji go we wzorze., Daj nam znać, jeśli chcesz być beta testerem tego nowego narzędzia:)
łatwość
łatwość to Poziom umiejętności technicznych, który będzie wymagany do wprowadzenia zmiany.
Prawie skończyliśmy. Na szczęście łatwość jest zwykle najłatwiejszą kategorią do zdobycia. Musisz tylko rozważyć, kogo potrzebujesz, aby wprowadzić zmianę i ile czasu zajmie im to. Zadaj sobie pytanie, czy którakolwiek z korekt związanych z konkretnym eksperymentem może być dokonana przez kogoś z twojego zespołu lub czy musisz wziąć na pokład dewelopera lub projektanta.,
podziel narzędzia do testowania, takie jak Optimizely lub Visual Website Optimizer, ułatwiają marketerom wprowadzanie prostych zmian, takich jak usunięcie przycisku lub zmiana nagłówka. Jednak modyfikowanie całego stylu strony lub nawet dodawanie nowych stron do witryny może być znacznie bardziej skomplikowane.
takie zmiany prawdopodobnie będą wymagały pomocy programisty, a może nawet copywritera, aby poprawnie wykonać zadanie. Nie bój się ich zapętlić i uzyskać dokładniejszy wynik tutaj.
po określeniu, kogo trzeba wykonać dany test, zastanów się, jak długo to zajmie., Jeśli musisz zapłacić deweloperowi za godziny pracy, wynająć zewnętrznego wykonawcę lub stracić członka zespołu marketingowego na tydzień, daj testowi niższy wynik łatwości. Jeśli nie zajmie to dużo czasu i potrzebujesz tylko jednego członka zespołu, daj mu wyższy wynik.
Walidacja sukcesu
Framework VICE znacznie ułatwia przechodzenie przez proces prawidłowego A / B testowania różnych elementów strony internetowej bez przytłoczenia., Jednak ramy nie mogą chronić Cię przed błędami w ocenie, które możesz zrobić, próbując określić, czy eksperyment się powiódł, czy nie.
w niektórych przypadkach może to wyglądać tak, jakbyś poprawił konwersje, ale z biegiem czasu zmiany mogą nie spowodować stałego wzrostu konwersji. Aby uchronić się przed taką sytuacją, musisz upewnić się, że Twoje wyniki są uważane za istotne statystycznie.
Jeśli nie są one istotne statystycznie, to co myślisz jest poprawa może w rzeczywistości być tylko flash-in-the-pan wynik., Idealnie, twoje eksperymenty powinny mieć znaczenie statystyczne co najmniej 95%. Sprawdzając statystyczną istotność wyników i upewniając się, że ich wynik przekracza 95%, możesz niezawodnie określić, czy masz zwycięską odmianę na swoich rękach i czy zmiany są warte zachowania.
Jeśli nie jesteś skłonny matematycznie lub przeraża cię pojęcie istotności statystycznej—nie martw się. Stworzyliśmy Kalkulator testów Effin a / B. To proste rozszerzenie Chrome można wykorzystać do określenia, czy Twoje wyniki są istotne statystycznie.,
jest bardzo łatwy w użyciu. Wszystko, co musisz zrobić, to wprowadzić swój ruch i numery konwersji, a narzędzie pokaże Twoje wyniki. Nie musisz zadzierać ze skomplikowanymi formułami!
oczywiście możesz korzystać z innych narzędzi i metod. Cokolwiek robisz, upewnij się, że zawsze sprawdzasz znaczenie statystyczne swoich wyników przed podjęciem decyzji o zwycięskiej odmianie.
wnioski
przeprowadzanie eksperymentów A / B może stać się bardzo przytłaczające, bardzo szybko. Korzystając z naszego podejścia, możesz temu zapobiec., Pod warunkiem, że spędzisz czas potrzebny na wymyślenie hipotez, wszystko, co musisz zrobić, to użyć podejścia Imadła, aby dowiedzieć się, gdzie powinieneś się skupić.
po wygenerowaniu danych związanych z testem sprawdź jego znaczenie statystyczne. W zależności od zwróconego wyniku dowiesz się, czy zmiany są warte zachowania. Testy A / B to coś, co będziesz chciał zrobić tak szybko, jak to możliwe, więc postaraj się szybko podjąć działania na tym, czego się nauczyłeś.
jasne, za pierwszym razem możesz nie robić tego dobrze—ale podejście VICE zdecydowanie zmniejszy szanse na porażkę i zmarnowany wysiłek.,