il test A/B è qualcosa che si deve fare in questo momento—soprattutto quando i piccoli miglioramenti di dire 1% o 2% in grado di produrre impressionante entrate miglioramenti su tutta la linea.
Che cos’è il test A/B?
Prima di entrare nelle specifiche di un incredibile framework di test A/B, facciamo un passo indietro e assicuriamoci che siamo tutti sulla stessa pagina quando parliamo di test A/B in generale., A / B testing in digital marketing and conversion optimization, anche scritto come A / B testing, o A / B testing, è il processo di testare due versioni di una pagina web o app con differenze controllate.
Le pagine vengono presentate agli utenti in modo casuale. Man mano che vengono raccolti i dati sulle prestazioni, le pagine vengono analizzate per determinare quale versione esegue meglio.
Quali sono i vantaggi dei test A/B?
Testare le variazioni di un sito web o di un’app con rigore statistico ti consente di misurare e ottimizzare la tua pagina per assicurarti di massimizzare le conversioni., Se stai testando una modifica all’intestazione o solo il colore di un pulsante, non fare affidamento sulla teoria per guidare queste decisioni, testarlo e consentire ai dati di guidare il processo decisionale.
Facciamo un po ‘ di matematica veloce per dipingere un quadro dell’impatto che può avere.
Immagina che il tuo prodotto venda a $100 e hai 10.000 visite al mese alla tua pagina web. il 3% di loro si converte, generando revenue 30.000 di entrate per quel prodotto.
A/B prova alcune modifiche alla pagina e il test mostra che la nuova versione della pagina migliora il tasso di conversione del 3% (quindi ora stai convertendo il 3,09% dei visitatori)., Meno dello 0,1% di conversioni aggiuntive non sembra molto, ma hai appena generato un ulteriore revenue 900 al mese di entrate. Anche se smetti di testare a quel punto, hai aggiunto revenue 10,800 annual revenue
Se continui a testare e testare altre due volte con lo stesso risultato di un miglioramento del 3% nel tasso di conversione, il tuo tasso di conversione aumenta di 9.3% (1.03 * 1.03 * 1.03). E ‘un po’ come aumentare gli interessi. Il tuo primo mese al nuovo tasso di conversione avrà un valore di conversione incrementale di $2,782. Nel corso di un anno, questo si tradurrà in un incrementale $33,382.,
In questo particolare esempio, il test ha portato a più di un mese di entrate incrementali.
Si prega di notare che questo viene fatto con il traffico che rimane costante. Non hai investito in un volume maggiore di annunci, più e-mail di distribuzione di contenuti, SEO in tutto il sito o qualsiasi altra cosa che farebbe crescere il tuo traffico. Stai solo ottenendo più valore dal volume di traffico che stai già ricevendo. Stai ottimizzando per $ – valore di ogni visitatore.
Quali tipi di test A / B forniscono risultati?
Ci sono numerose metriche e persino aree di dati da esplorare., Qui ci sono 3 modi in cui possiamo impiegare test split per garantire di avere i migliori tassi di conversione possibili.
Esperimenti sui prezzi
C’era una teoria di marketing che i prezzi che terminano in 7 effettivamente convertiti meglio di qualsiasi altro numero. Perché? Poiché avere un prezzo che termina con 0 (zero) ha dimostrato di essere troppo generale, non abbastanza specifico, 9 è diventato comunemente usato. Poi i prezzi che terminano in 9 sono diventati così comuni che non suscitano più una risposta positiva notevole e non influiscono su un tasso di conversione. Allora perché pensi che stai vedendo i prezzi che finiscono in 7 ora?,
Il 7 è stato originariamente provato con un test A/B, in cui è stato testato il prezzo per trovare il miglior punto di ottimizzazione. Questo è ciò che i dati suggerivano, e si può ancora vedere in alcuni prezzi SaaS.
Questa potrebbe non essere la raccomandazione giusta per il tuo sito web e il tuo pubblico. È una buona idea eseguire i tuoi test e trovare il numero che meglio converte per te in particolare. Usa le migliori pratiche e le conoscenze del settore per guidare ciò che provi, ma lascia che i tuoi dati di test A/B guidino la decisione.,
Teoria dei colori
Un altro esempio di test di versioni A / B di un sito web o di una pagina specifica, è il colore del CTA.
Il giallo è stato un favorito popolare per molto tempo. Ancora una volta, grazie a un test B, i dati hanno mostrato che i pulsanti gialli convertiti meglio. Da allora, l’industria ha testato i colori di più.
I dati provenienti da test più approfonditi suggeriscono che è più correlato al contrasto tra sfondo e CTA. Non necessariamente giallo quanto accattivante il CTA è all’interno del contesto della pagina., Ma è sempre una buona idea testare le variazioni e vedere cosa funziona per il tuo CTA specifico nel contesto del tuo marchio specifico.
Mouse Tracking
Qualcosa di semplice come il monitoraggio del viaggio dell’utente su una pagina web può portare a grandi dati CRO attuabili. Dove i visitatori concentrano il loro tempo e attenzione? Dove arrivano sulla pagina quando decidono di andarsene?
Ci sono una varietà di software di monitoraggio del mouse e mappa di calore che mostrano dove esattamente sulla pagina l’utente trascorre la maggior parte del loro tempo, e dove drop off., Testando l’interazione dell’utente con il tuo sito Web in questo modo, puoi consentire ai dati di determinare layout di funzionalità, posizionamenti CTA, ecc.
Con questo tipo di conoscenza, sei in grado di prendere decisioni istruite per progettare i tuoi test e misurare i risultati di tali modifiche.
Analisi euristica
Non è sufficiente progettare una pagina web o un’app di bell’aspetto; la pagina deve anche convincere il pubblico a completare l’azione desiderata.
Le euristiche sono regole empiriche o best practice empiriche che sono state testate in passato e sono implementate per produrre progetti UX., Tuttavia, ogni pagina, prodotto e servizio è unico. Piuttosto che limitarsi a garantire che la tua pagina si adatti alle best practice del settore, ovvero alle best practice derivanti dai test di qualcun altro, ha senso testare elementi come il posizionamento di call to action e i tassi di conversione in tempo reale. Lascia che il design del tuo sito web sia guidato dai dati.
L’importanza di utilizzare un framework di test A/B
Non puoi semplicemente precipitarti nei test A / B. Un approccio casuale porterà al fallimento.,
Se sei come la maggior parte delle aziende, hai solo così tante risorse e così tanti soldi, quindi devi imparare a dare priorità—a volte spietatamente. Se non puoi, la tua crescita alla fine ristagnerà, o inizierai a restringersi. A / B testing è il modo più veloce, più semplice e più conveniente per scoprire come guidare più traffico, generare più lead, creare più vendite. Se vuoi avere successo con i test A / B, devi sviluppare una strategia e priorità in anticipo, il che può essere difficile da fare.
Qui a McGaw.io, abbiamo progettato qualcosa che chiamiamo il VICE A / B testing framework., Utilizzando questo framework, siamo in grado di evitare molti dei comuni errori di test A/B causati dalla mancanza di strategia e organizzazione.
In questo post, stiamo andando a passare attraverso il framework VICE e abbattere esattamente come funziona. Esploreremo come utilizzare l’approccio VICE per massimizzare i tuoi obiettivi (come le entrate o le iscrizioni degli utenti) senza dover spendere più soldi per guidare il traffico. Alla fine, capirai come utilizzare questo framework nella tua attività in modo da poter beneficiare di tutto ciò che i test A/B hanno da offrire.,
L’importanza di creare ipotesi
Se si dà un’occhiata al McGaw.io blog, vedrete che abbiamo già coperto le basi di come si può iniziare con test A/B, come cosa testare e quali strumenti da utilizzare.
L’obiettivo di questo post è quello di esplorare come è possibile condurre test A/B che hanno maggiori probabilità di produrre risultati benefici—e la chiave per raggiungere questo obiettivo è il nostro Framework VICE e il modello per i test A / B.
Prima di immergerti in qualsiasi test A/B, devi prima formare alcune ipotesi.,
Le ipotesi sono essenzialmente ciò che pensi accadrà a seguito di alcune modifiche.
Quando si utilizza il Framework VICE, sfruttiamo le ipotesi come punto di partenza. Generare ipotesi è importante perché senza di loro, i tuoi esperimenti mancheranno di direzione. È una buona idea inventare una vasta gamma di ipotesi prima del tempo. Avere una varietà di ipotesi allineate migliorerà la tua capacità di implementare rapidamente i test in futuro, aumentando la velocità con cui puoi aumentare le conversioni del sito web.,
È necessario creare almeno un’ipotesi per ogni elemento di una pagina che si desidera testare.
Suggerimento: astenersi dal testare A / B più di un elemento di una pagina in un dato momento. Testare più elementi di una pagina contemporaneamente rende difficile capire quali modifiche portano effettivamente a determinati risultati.
Suggerimento: astenersi dal testare A / B più di un elemento di una pagina in un dato momento. Testare più elementi di una pagina contemporaneamente rende difficile capire quali modifiche portano effettivamente a determinati risultati.,
Suggerimento: sebbene possa essere utile avere alcune conoscenze di base su ciò che funziona bene durante l’esecuzione dei test, non è sempre necessario seguire le migliori pratiche. In alcuni casi, potresti scoprire che apportare cambiamenti radicali e andare contro le migliori pratiche porta effettivamente a conversioni migliori.
L’approccio VICE
Quando si tratta di test A/B, è importante ottenere alcune vittorie veloci sotto la cintura.
Quando si prende cura di basso appeso frutta, sei in una posizione migliore per trascorrere del tempo sugli esperimenti più impegnativi che si desidera scavare in., Inoltre, prima hai alcuni test A/B vincenti, più otterrai dai miglioramenti di composizione che derivano dal miglioramento delle conversioni.
Suggerimento: se stai facendo il lavoro del cliente, generare vincite veloci può essere ancora più importante, poiché ti dà l’opportunità di dimostrare che vale la pena concentrarsi sui test A/B.
Con questo in mente, come puoi identificare il frutto a bassa sospensione e determinare gli esperimenti o le ipotesi che hanno maggiori probabilità di funzionare?
Certo, una sfera di cristallo potrebbe essere utile qui, ma è probabile che tu non ne abbia uno.
Tuttavia, qui a McGaw.,io, pensiamo di avere la prossima cosa migliore – l’approccio VICE.
VICE sta per:
- V – Velocità
- io – Impatto
- C – Fiducia
- E – Facilità
L’idea qui è che il punteggio del tuo ipotesi da 0 a 10 (10 è più alto/più preferibile), in relazione a ciascuno dei fattori di cui sopra.
Quindi combatti questi punteggi in modo da avere un “totale.”
Ottieni il modello VICE Framework qui!,
Questo totale aiuta a calcolare la probabilità che un’ipotesi o un esperimento produca risultati rispetto a tutti gli altri test che si desidera eseguire su un sito o una pagina. Se stai cercando di generare alcune vincite veloci, può essere utile dare la priorità ai test che hanno i punteggi più alti.
Ecco una panoramica di come appare il nostro framework in azione, con la sezione VICE evidenziata:
Se ingrandiamo e diamo un’occhiata più da vicino, puoi vedere come formiamo ipotesi, segniamo ogni categoria e calcoliamo i totali.,
Ognuna di queste categorie rappresenta diversi fattori di cui è necessario tenere conto quando si esegue un test A / B. Diamo uno sguardo più da vicino a ciascuno in modo da poter dare il più preciso un punteggio possibile.
Velocity
Velocity è la velocità alla quale un test può essere eseguito.
Il tuo punteggio di velocità dovrebbe essere basato su due fattori principali: (1) quanto traffico sta ottenendo una pagina e (2) quanto sarà evidente un cambiamento.
Quanto traffico
In generale, più traffico un sito web sta portando in, il più veloce un test può essere eseguito., Più traffico significa più dati, e più dati significa che ci vorrà meno tempo per capire se i risultati sono statisticamente significativi (qualcosa che tratteremo in seguito).
Quando segniamo per Velocity, ci integriamo con Google Analytics per ottenere il numero più preciso possibile (vuoi che integriamo il tuo framework VICE in Google, contattaci.). La velocità è impostata in base alla quantità di traffico che attraversa una pagina. Se una pagina sta ottenendo 50.000 persone a settimana, possiamo colpire la significatività statistica abbastanza rapidamente., Se una pagina riceve solo 500 visite a settimana, ci vorrà più tempo per avere dati sufficienti per essere sicuri dei risultati
Audacia del cambiamento
Raggiungere la significatività statistica non riguarda solo il numero di persone che visitano il tuo sito web. Si tratta anche di quanto sia grande o evidente il cambiamento che stai testando. Meno evidente è il cambiamento, meno è probabile che abbia un impatto sul comportamento dell’utente, quindi più tempo ci vorrà perché il test raggiunga la significatività statistica., Ad esempio, se aggiorni il testo di navigazione con un carattere in grassetto, probabilmente non aumenterà la quantità di clic che ottieni in modo drammatico, quindi ci vorrà più tempo per raggiungere un livello in cui puoi essere sicuro che il cambiamento sta facendo la differenza.
Se, tuttavia, si effettua un cambiamento drammatico, è possibile raggiungere la significatività statistica più velocemente. Ad esempio, più utenti noteranno un nuovo pulsante call-to-action, quindi dovresti ottenere dati sufficienti per essere sicuro dei tuoi risultati in un lasso di tempo più breve.,
Pensalo in questo modo: se il test è più drammatico o polarizzante per l’esperienza dell’utente, allora dovresti aspettarti che la Velocità sia più alta perché vedrai una differenza più velocemente.
Altri fattori
È anche importante guardare i numeri di traffico in relazione a quante opzioni ci sono in una determinata pagina. Più opzioni (come i link) ci sono, più tempo ci vorrà generalmente per completare il test.
E in base alla vostra attività o il vostro ciclo di vendita, ci sono altri fattori che potrebbe essere necessario prendere in considerazione., Ad esempio, se il ciclo di vendita di uno dei tuoi prodotti dura sei settimane, non sarai in grado di completare nemmeno un piccolo test in una settimana.
Prova a considerare i tuoi vincoli di business individuali quando si segna la velocità.
Impatto
L’impatto è quanto un cambiamento contribuirà a migliorare le conversioni.
Quando stai considerando quale punteggio di impatto dare una particolare ipotesi, è importante pensare prima al tuo obiettivo. Se il tuo obiettivo è aumentare l’uso di una prova gratuita, qualsiasi modifica nella pagina di prova gratuita otterrebbe un punteggio di impatto più elevato., Se si desidera aumentare l’acquisizione di e-mail per dare al team di vendita più lead, dare un punteggio più alto alle ipotesi che potrebbero avere un impatto su tale area.
Una volta che hai il tuo obiettivo in mente, ci sono altri tre fattori da considerare: (1) l’audacia della modifica, (2) il posizionamento della pagina nella canalizzazione e (3) i tuoi dati di analisi.
Audacia del cambiamento
Come abbiamo menzionato con Velocity sopra, più un cambiamento è evidente per i tuoi utenti, più è probabile che abbia un impatto sul loro comportamento., I cambiamenti drammatici di solito hanno un punteggio di impatto più elevato perché gli utenti hanno maggiori probabilità di notarli e quindi hanno maggiori probabilità di influenzare il tasso di conversione.
Posizionamento nell’imbuto
È anche importante considerare dove si trova la pagina nell’imbuto. In generale, le pagine vicino alla parte superiore dell’imbuto avranno spesso un impatto maggiore rispetto a quelle in basso, semplicemente perché più utenti le vedranno. Quindi, ad esempio, una modifica sulla home page potrebbe ottenere un punteggio di impatto più elevato rispetto a una pagina di servizi.
L’altro tipo di pagina che in genere ottiene un punteggio di impatto elevato sono le pagine checkout e pricing., Il punteggio di impatto dovrebbe essere più alto per qualsiasi luogo in cui gli utenti stanno cercando di darti soldi. Vuoi rendere quel processo il più semplice possibile.
Dati analitici
Infine, ti consigliamo di guardare i tuoi dati analitici per aiutarti a segnare l’impatto (hai bisogno di aiuto guardando i tuoi dati analitici, contattaci). Se stai utilizzando Google Analytics (e dovresti esserlo) e Google Ecommerce, puoi vedere il valore di una pagina nella tua canalizzazione. Maggiore è il valore della pagina in Google Analytics, maggiore dovrebbe essere il punteggio di impatto.,
Se vuoi diventare davvero cool, abbiamo un framework VICE segreto che possiamo integrare direttamente nel tuo account Google Analytic e tirare in Velocità impatto pubblicitario in base ai numeri che hai in Google Analytics. Contattaci se vuoi essere incredibile.
Fiducia
La fiducia è come ti senti sulle possibilità che una data ipotesi produca risultati favorevoli.
Quanto più si sa su questo tipo di test, il più accurato sarete quando si tratta di prescrivere valutazioni di fiducia prima del tempo., Questo perché anche se i test A / B tendono a funzionare caso per caso, scoprirai che ci saranno problemi comuni che spesso possono essere risolti usando soluzioni comuni. Un esempio di questo potrebbe essere l’inclusione di una testimonianza su una pagina di destinazione.
Se sei nuovo di zecca ai test, non pensarci troppo e dagli la tua ipotesi migliore. Attraverso il processo di creazione di ipotesi e scrivere la vostra fiducia, si otterrà rapidamente una migliore comprensione per i quali i test sono suscettibili di avere successo.,
Quando inizi a fare previsioni, può essere utile tenere traccia di come tu e il tuo team state facendo quando si tratta di prevedere—non come una sorta di punizione (i test A/B possono essere schizzinosi anche per un esperto), ma come opportunità di insegnamento. Spesso, puoi vedere i modelli nei tuoi punteggi di fiducia. Forse qualcuno della tua squadra sopravvaluta sempre l’impatto del colore, o qualcun altro sottovaluta l’importanza della homepage.,
Se qualcuno sta costantemente ottenendo ipotesi più corrette del resto della squadra, potrebbe anche essere una buona idea dare un numero leggermente più alto ai test su cui hanno alta fiducia.
Dal momento che siamo un’azienda guidata dai dati, stiamo costruendo un modello che tiene conto delle prestazioni passate e riduce automaticamente o urta i punteggi del nostro team, se necessario. Questo potrebbe essere un po ‘ esagerato per la maggior parte delle aziende, ma è possibile applicare il principio generale senza doverlo quantificare in una formula., Fateci sapere se volete essere un beta tester di questo nuovo strumento 🙂
Ease
Ease è il livello di abilità tecnica che sarà necessario per apportare una modifica.
Whew. Abbiamo quasi finito. Fortunatamente, la facilità è di solito la categoria più facile da segnare. Hai solo bisogno di considerare chi è necessario apportare il cambiamento e quanto tempo ci vorrà loro. Chiediti se uno qualsiasi degli aggiustamenti relativi a un esperimento specifico può essere fatto da qualcuno del tuo team o se dovrai portare a bordo uno sviluppatore o un designer.,
Strumenti di test divisi come Optimizely o Visual Website Optimizer rendono facile per i marketer apportare semplici modifiche come la rimozione di un pulsante o la modifica di un titolo. Tuttavia, modificare l’intero stile di una pagina o anche aggiungere nuove pagine a un sito web può essere molto più complicato.
Modifiche come questa richiederanno probabilmente l’aiuto di uno sviluppatore e forse anche di un copywriter per eseguire correttamente il lavoro. Non abbiate paura di ciclo in loro e ottenere un punteggio più preciso qui.
Una volta determinato chi è necessario eseguire un determinato test, considerare quanto tempo ci vorrà., Se devi pagare uno sviluppatore per ore e ore di lavoro, o assumere un appaltatore esterno, o perdere un membro del tuo team di marketing per una settimana, dare al test un punteggio di facilità inferiore. Se non ci vorrà molto tempo e hai solo bisogno di un membro della tua squadra, dagli un punteggio più alto.
Convalida del successo
Il framework VICE rende molto più facile passare attraverso il processo di test A / B correttamente i vari elementi di un sito Web senza essere sopraffatti., Tuttavia, il framework non può proteggerti dagli errori di giudizio che potresti fare quando cerchi di determinare se un esperimento ha avuto successo o meno.
In alcuni casi, può sembrare che tu abbia migliorato le conversioni, ma nel tempo, le modifiche potrebbero non riuscire a produrre un aumento consistente delle conversioni. Per proteggersi da una situazione del genere, è necessario assicurarsi che i risultati siano considerati statisticamente significativi.
Se non sono statisticamente significativi, quello che pensi sia un miglioramento potrebbe in realtà essere solo un risultato flash-in-the-pan., Idealmente, i tuoi esperimenti dovrebbero avere una significatività statistica di almeno il 95%. Controllando la significatività statistica dei tuoi risultati e assicurandoti che abbiano un punteggio superiore al 95%, puoi determinare in modo affidabile se hai una variazione vincente sulle tue mani e se le modifiche valgono la pena di essere mantenute.
Ora, se non sei matematicamente inclinato o il concetto di significatività statistica ti spaventa, non preoccuparti. Abbiamo creato il calcolatore di test Effin A / B. Questa semplice estensione Chrome può essere utilizzato per determinare se i risultati sono statisticamente significativi.,
È molto facile da usare. Tutto quello che dovete fare è mettere nel vostro traffico e numeri di conversione e lo strumento mostrerà i risultati. Non c’è bisogno di pasticciare con qualsiasi formule complicate!
Naturalmente, sei libero di utilizzare altri strumenti e metodi. Qualunque cosa tu faccia, basta fare in modo che si controlla sempre il significato statistico dei risultati prima di decidere su una variazione vincente.
Conclusione
Condurre esperimenti A / B può diventare molto travolgente, molto rapidamente. Utilizzando il nostro approccio VICE, tuttavia, si può evitare che., A condizione che si spende il tempo necessario per venire con ipotesi, tutto quello che dovete fare è utilizzare l’approccio VICE per capire dove si dovrebbe mettere a fuoco.
Una volta generati alcuni dati relativi al test, verificarne la significatività statistica. A seconda del risultato restituito, saprai se vale la pena mantenere le modifiche. A / B test è qualcosa che ti consigliamo di fare il più presto possibile, in modo da cercare di agire su ciò che hai imparato in fretta.
Certo, si potrebbe non ottenere le cose per bene la prima volta—ma l’approccio VICE sarà sicuramente ridurre le probabilità di fallimento e lo sforzo sprecato.,