o teste A/B é algo que você precisa estar fazendo agora—especialmente quando pequenas melhorias de, digamos, 1% ou 2% pode produzir impressionante receita melhorias para baixo da linha. o que é um teste A / B?
Antes de entrar em detalhes de um incrível framework de testes A/B, Vamos dar um passo atrás e garantir que estamos todos na mesma página ao falar sobre testes A/B em geral., A / B testing in digital marketing and conversion optimization, also spelled as a/B testing, or a/B testing, is the process of testing two versions of a webpage or app with controlled differences.
as páginas são apresentadas aleatoriamente aos utilizadores. À medida que os dados de desempenho são coletados, as páginas são analisadas para determinar qual versão tem melhor desempenho.quais são os benefícios dos testes A / B?
testar variações de um site ou aplicativo com rigor estatístico permite medir e otimizar sua página para garantir que você está maximizando conversões., Se você está testando uma mudança para o cabeçalho ou apenas a cor de um botão, não confie na teoria para orientar estas decisões, testá-lo e permitir que os dados para conduzir a tomada de decisão.vamos fazer uma matemática rápida para pintar um quadro do impacto que pode ter. Imagine que o seu produto vende a 100 dólares e você tem 10 mil visitas por mês à sua página web. 3% deles se convertem, gerando $ 30.000 em receita para esse produto.
você a / B testa algumas mudanças na página, e seu teste mostra que sua nova versão da página melhora sua taxa de conversão em 3% (Então agora você está convertendo 3,09% dos visitantes)., Menos de 0,1% de conversões adicionais não soa muito, mas você acabou de gerar um adicional de $ 900 por mês em receita. Mesmo se você parar de testar nesse ponto, você adicionou US $ 10.800 receita anual
Se você continuar testando, e teste mais duas vezes com o mesmo resultado de uma melhoria de 3% na taxa de conversão, sua taxa de conversão sobe por 9.3% (1.03 * 1.03 * 1.03). É muito parecido com juros compostos. Seu primeiro mês na nova taxa de conversão terá um valor de conversão incremental de $2,782. Ao longo de um ano, isso resultará em um aumento de $ 33.382 .,
neste exemplo particular, o teste levou a mais de um mês de receita incremental.
Por Favor, note que isto é feito com o tráfego permanecendo constante. Você não investiu em maior volume de anúncios, mais e-mails de distribuição de conteúdo, sitewide SEO, ou qualquer outra coisa que aumentaria o seu tráfego. Só estás a ganhar mais valor com o volume de tráfego que já estás a receber. Estás a optimizar o valor de cada visitante. que tipos de testes A / B produzem resultados?
Existem inúmeras métricas e até mesmo áreas de dados para explorar., Aqui estão 3 maneiras que podemos empregar testes divididos para garantir que temos as melhores taxas de conversão possíveis.
Pricing Experiments
costumava haver uma teoria de marketing que os preços terminavam em 7 realmente convertidos melhor do que qualquer outro número. Por quê? Porque ter um preço que termina com 0 (zero) tem sido provado ser muito geral, não específico o suficiente, 9 tornou-se comumente usado. Em seguida, os preços que terminaram em 9 tornou-se tão comum que ele não agita mais uma notável resposta positiva, e não impacta uma taxa de conversão. Então, porque achas que estás a ver os preços a acabar em 7 agora?,
the 7 was originally proved with an A / B test, where pricing was tested to find the best optimization point. Isso é o que os dados sugeriram, e você ainda pode vê-lo em alguns preços SaaS.esta pode não ser a recomendação certa para o seu site e para o seu público. É uma boa idéia fazer seus próprios testes, e encontrar o número que melhor se converte para você em particular. Use as melhores práticas e conhecimento da indústria para orientar o que você tenta, mas deixe que seus próprios dados de teste A/B conduzam a decisão.,
Teoria das cores
outro exemplo de testar versões A / B de um site ou página específica, é a cor do CTA.
O amarelo foi um popular favorito por um longo tempo. Mais uma vez, graças a um teste B, os dados mostraram que os botões amarelos se converteram melhor. Desde então,a indústria tem testado cores mais. dados de testes mais aprofundados sugerem que está mais relacionado com o contraste entre o fundo e o CTA. Não necessariamente amarelo apenas como o olho pegando o CTA está dentro do contexto da página., Mas, é sempre uma boa idéia para testar variações e ver o que funciona para o seu CTA específico no contexto de sua marca específica.
rastreamento do Mouse
algo tão simples como rastrear a viagem do usuário em uma página web pode levar a grandes dados de Cro. Onde é que os visitantes concentram o seu tempo e atenção? Para onde vão na página quando decidem sair?
Há uma variedade de software de rastreamento do mouse e mapa de calor que mostram onde exatamente na página o usuário passa a maior parte do seu tempo, e onde eles caem., Ao testar a interação do usuário com o seu site desta forma, você pode permitir que os dados para determinar layouts de recursos, colocações CTA, etc.com este tipo de conhecimento, você é capaz de tomar decisões educadas para projetar seus testes e medir os resultados dessas mudanças.
análise heurística
não é suficiente para projetar uma página web ou app de boa aparência; a página também tem que persuadir o público a completar a ação desejada. heurísticas são regras empíricas do polegar ou melhores práticas que foram testadas no passado e são implementadas para produzir desenhos UX., No entanto, cada página, Produto e serviço é único. Em vez de apenas garantir que a sua página se encaixa com as melhores práticas da indústria, ou seja, as melhores práticas que vêm de testes de outra pessoa, faz sentido testar elementos como a sua chamada para a colocação de ação e taxas de conversão em tempo real. Que o design do seu site seja orientado a dados.
a importância de usar uma estrutura de testes a/B
Você não pode simplesmente correr para testes A / B. Uma abordagem casual levará ao fracasso.,
Se você é como a maioria das empresas, você só tem tantos recursos e tanto dinheiro, então você tem que aprender a priorizar—às vezes impiedosamente. Se não conseguires, o teu crescimento vai acabar por estagnar, ou vais começar a encolher. A / B testing é a maneira mais rápida, fácil e econômica de descobrir como dirigir mais tráfego, gerar mais leads, criar mais vendas. Se você quiser ter sucesso com testes A / B, você precisa desenvolver uma estratégia e prioridades antes do tempo—o que pode ser complicado de fazer.
aqui em McGaw.io desenhámos algo a que chamamos o quadro de testes da VICE-a/B., Usando este framework, somos capazes de evitar muitas das falhas comuns de testes A/B que são causadas pela falta de estratégia e organização.
neste post, vamos passar pelo VICE framework e quebrar exatamente como ele funciona. Vamos explorar como você pode usar a abordagem VICE para maximizar seus objetivos (como receitas ou inscrições de usuários) sem ter que gastar mais dinheiro na condução de tráfego. No final, você vai entender como usar este framework em seu próprio negócio para que você possa se beneficiar de tudo o que o teste A/B tem para oferecer.,
a importância de criar hipóteses
McGaw.io blog, você verá que já cobrimos o básico de como você pode começar com testes A/B, como o que testar e que Ferramentas usar.
o foco deste post é explorar como você pode realizar testes A/B que são mais propensos a produzir resultados benéficos—e a chave para alcançar isso é o nosso Vice-Framework e modelo para testes A/B.
Antes de mergulhar em qualquer teste A/B, você primeiro precisa formar algumas hipóteses.,as hipóteses são essencialmente o que você acha que vai acontecer como resultado de fazer certas mudanças.
ao usar a estrutura de VICE, nós alavancamos as hipóteses como nosso ponto de partida. Gerar hipóteses é importante porque sem elas, as suas experiências não terão direção. É uma boa ideia apresentar uma vasta gama de hipóteses antes do tempo. Ter uma variedade de hipóteses alinhadas irá melhorar a sua capacidade de implementar testes rapidamente no futuro, aumentando a taxa de conversão do site.,
Você deve criar pelo menos uma hipótese para cada elemento de uma página que você deseja testar.
Pro Tip: abster-se de testar a/B Mais do que um elemento de uma página em qualquer altura. Testar vários elementos de uma página ao mesmo tempo torna difícil descobrir quais mudanças realmente levam a certos resultados.
Pro Tip: abster-se de testar a/B Mais do que um elemento de uma página em qualquer altura. Testar vários elementos de uma página ao mesmo tempo torna difícil descobrir quais mudanças realmente levam a certos resultados.,
Pro Tip: embora possa ser útil ter algum conhecimento de fundo sobre o que funciona bem ao executar testes, você nem sempre tem que seguir as melhores práticas. Em alguns casos, você pode achar que fazer mudanças radicais e ir contra as melhores práticas realmente leva a melhores conversões.
a abordagem do vício
quando se trata de testes A / B, é importante obter algumas vitórias rápidas sob o seu cinto.
Quando você cuida de frutas baixas Penduradas, você está em uma melhor posição para gastar tempo nas experiências mais desafiadoras que você quer escavar., Além disso, quanto mais cedo você tiver alguns testes A/B vencedores, mais você vai ganhar com as melhorias de composição que vêm com a melhoria das conversões.
Dica Pro: Se você está fazendo o trabalho do cliente, gerar vitórias rápidas pode ser ainda mais importante, uma vez que lhe dá a oportunidade de provar que o teste A/B vale a pena focar. com isso em mente, como você pode identificar o fruto pendurado baixo e determinar as experiências ou hipóteses que são mais prováveis de funcionar?
claro, uma bola de cristal pode ser útil aqui, mas é provável que você não tenha uma. no entanto, aqui em McGaw.,io, achamos que temos a melhor coisa a seguir: a abordagem do vício.
VICE-significa:
- V – Velocidade
- I – Impacto
- C – Confiança
- E – Facilidade
A ideia aqui é que você marcar suas hipóteses de 0 a 10 (10 sendo o mais alto/mais preferível), em relação a cada um dos fatores acima.
Você, em seguida, somar estas pontuações de modo que você tem um “total.”
Get the VICE Framework template here!,
Este total ajuda a determinar a probabilidade de uma hipótese ou experiência produzir resultados quando comparado com todos os outros testes que pretende executar num site ou página. Se você está procurando gerar algumas vitórias rápidas, pode ser útil para priorizar os testes que têm as pontuações mais altas.
Aqui está uma visão geral do que o nosso quadro parece em ação, com o VICE-seção realçada:
Se a gente ampliar e dar uma olhada mais de perto, você pode ver como nós formulário de hipóteses, a pontuação em cada categoria, e registar os totais.,
cada uma destas categorias representa diferentes factores que é necessário ter em conta ao executar um teste A/B. Vamos dar uma olhada mais de perto em cada um para que você possa dar-lhe uma pontuação tão precisa quanto possível.
velocidade
velocidade é a velocidade a que um ensaio pode ser executado.
sua pontuação de velocidade deve ser baseada em dois fatores principais: (1) quanto tráfego uma página está recebendo e (2) quão visível uma mudança será.
Quanto tráfego
em geral, quanto mais tráfego um site está trazendo, mais rápido um teste pode ser executado., Mais tráfego significa mais dados, e mais dados significa que levará menos tempo para resolver se os resultados são estatisticamente significantes (algo que vamos cobrir mais tarde).
Quando marcamos a velocidade, integramo-nos com o Google Analytics para obter o número mais preciso possível (quer que integremos o seu VICE-framework no google, contacte-nos.). A velocidade é definida com base na quantidade de tráfego que passa por uma página. Se uma página recebe 50.000 pessoas por semana, podemos atingir significância estatística muito rapidamente., Se uma página está apenas recebendo 500 hits por semana, vai demorar mais tempo para que você tenha dados suficientes para estar confiante nos resultados
ousadia da mudança
alcançar significância estatística não é apenas sobre quantas pessoas vêm ao seu site. É também sobre o quão grande ou visível é a mudança que você está testando. Quanto menos perceptível for a mudança, menos provável será o impacto no comportamento do usuário, por isso, quanto mais tempo levará para que o seu teste alcance significância estatística., Por exemplo, se você atualizar o texto de navegação para um tipo de letra negrito, que provavelmente não vai aumentar a quantidade de cliques que você começa dramaticamente—por isso vai demorar mais para chegar a um nível onde você pode ter certeza de que a mudança está fazendo a diferença.
se, no entanto, você fizer uma mudança dramática, você pode chegar a significância estatística mais rápido. Por exemplo, mais usuários vão notar um novo botão de chamada-para-ação, então você deve obter dados suficientes para estar confiante em seus resultados em uma menor quantidade de tempo.,se o teste for mais dramático ou polarizante da experiência do usuário, então você deve esperar que a velocidade seja maior porque você verá uma diferença mais rápida.
outros fatores
também é importante olhar para os números de tráfego em relação a quantas opções existem em uma dada página. Quanto mais opções (como links) existem, mais tempo Geralmente levará para completar o teste.
e com base no seu negócio ou no seu ciclo de vendas, existem outros factores que poderá ter de ter em conta., Por exemplo, se o ciclo de vendas de um de seus produtos for de seis semanas, você não será capaz de completar nem mesmo um pequeno teste em uma semana.
tente considerar as suas restrições de Negócio individuais ao marcar a velocidade.
Impact
Impact é o quanto uma mudança vai contribuir para uma melhoria nas conversões.quando você está considerando que pontuação de Impacto para dar uma determinada hipótese, é importante primeiro pensar em seu objetivo. Se o seu objetivo é aumentar o uso de um teste gratuito, então quaisquer alterações na página de teste gratuito obteria uma pontuação de impacto maior., Se você quiser aumentar a captura de E-mail para dar a sua equipe de vendas mais pistas, dê uma pontuação mais elevada para as hipóteses que são susceptíveis de impactar essa área.
Uma vez que você tem seu objetivo em mente, há três outros fatores a considerar: (1) a ousadia da mudança, (2) a colocação da Página no funil, e (3) seus dados analíticos.
ousadia da mudança
como mencionamos com velocidade acima, quanto mais visível uma mudança é para os seus usuários, mais provável é que seja para impactar o seu comportamento., Mudanças dramáticas geralmente têm uma pontuação de impacto maior porque os usuários são mais propensos a notá-los, e assim eles são mais propensos a afetar sua taxa de conversão.
colocação no funil
Também é importante considerar onde a página está no funil. Em geral, as páginas próximas ao topo do funil muitas vezes terão mais impacto do que as do fundo—simplesmente porque mais usuários irão vê-las. Assim, por exemplo, uma mudança na página inicial poderia obter uma pontuação de impacto maior do que uma página de serviços.
O outro tipo de página que normalmente recebe uma pontuação de alto impacto são as páginas de checkout e preços., A pontuação de impacto deve ser maior para qualquer lugar onde os usuários estão tentando dar-lhe dinheiro. Você quer tornar esse processo o mais fácil possível.
dados de análise
finalmente, você vai querer olhar para os seus dados de análise para ajudá-lo a marcar impacto (precisa de Ajuda para olhar para os seus dados de análise, entre em contato conosco). Se estiver a utilizar o Google Analytics (e deve estar) e o Google Ecommerce, pode ver o valor de uma página no seu funil. Quanto maior o valor da Página no Google Analytics, maior a pontuação de Impacto deve ser.,
Se você quiser ficar muito legal, temos uma estrutura secreta VICE que podemos integrar diretamente em sua conta Google Analytic e puxar o impacto velocidade ad com base nos números que você tem no Google Analytics. Contacte-nos se quiser ser incrível.
confiança
confiança é como você se sente sobre as chances de uma determinada hipótese produzir resultados favoráveis.
quanto mais você sabe sobre este tipo de teste, mais precisa você será quando se trata de prescrever avaliações de confiança antes do tempo., Isso porque mesmo que testes A / B tendem a funcionar caso a caso, você vai descobrir que haverá problemas comuns que muitas vezes podem ser resolvidos usando soluções comuns. Um exemplo disso pode ser a inclusão de um testemunho em uma página de desembarque. se você é novo em testes, não pense demais e dê o seu melhor palpite. Através do processo de criar hipóteses e escrever a sua confiança, você vai rapidamente ganhar uma melhor compreensão para que os testes são susceptíveis de ter sucesso.,
Como você começar a fazer previsões, pode ser útil para manter o controle de como você e sua equipe estão fazendo quando se trata de prever—e não como algum tipo de punição (o teste A/B pode ser mimado, mesmo para um especialista), mas como uma oportunidade de ensino. Muitas vezes, você pode ver padrões em suas pontuações de confiança. Talvez alguém na sua equipa sobrevalorize sempre o impacto da cor, ou alguém subestima a importância da página inicial.,
Se alguém está consistentemente obtendo palpites mais corretos, então o resto da equipe, pode até ser uma boa idéia dar um número ligeiramente maior para os testes em que eles têm alta confiança.uma vez que somos uma empresa impulsionada por dados, estamos construindo um modelo que leva em conta o desempenho passado e automaticamente reduz ou aumenta as pontuações de nossa equipe conforme necessário. Isso pode ser um pouco exagerado para a maioria das empresas, mas pode aplicar-se o princípio geral sem ter de o quantificar numa fórmula., Deixe-nos saber se você gostaria de ser um testador beta desta nova ferramenta 🙂
Ease
Ease é o nível de habilidade técnica que será necessário para fazer uma mudança.Whew. Estamos quase a acabar. Felizmente, facilidade é geralmente a categoria mais fácil de marcar. Você só precisa considerar quem você precisa para fazer a mudança e quanto tempo vai demorar. Pergunte a si mesmo se algum dos ajustes relacionados a um experimento específico pode ser feito por alguém em sua equipe ou se você vai precisar trazer um desenvolvedor ou designer a bordo.,
Split testing tools like Optimizely or Visual Website Optimizer make it easy for marketers to make simple changes like removing a button or changing a headline. No entanto, modificar todo o estilo de uma página ou mesmo adicionar novas páginas a um site pode ser muito mais complicado.
alterações como esta provavelmente necessitarão da ajuda de um desenvolvedor e talvez até mesmo de um redactor de cópia para fazer o trabalho corretamente. Não tenha medo de os informar e obter uma pontuação mais precisa aqui.
Uma vez que você tenha determinado quem você precisa para executar um determinado teste, considere quanto tempo ele vai demorar., Se você tiver que pagar a um desenvolvedor por horas e horas de trabalho, ou contratar um empreiteiro externo, ou perder um membro de sua equipe de marketing por uma semana, dê ao teste uma pontuação mais baixa facilidade. Se não levar muito tempo e só precisar de um membro da sua equipa, dê-lhe uma pontuação mais alta.
validar o sucesso
a estrutura VICE torna muito mais fácil passar pelo processo de testar adequadamente a/B os vários elementos de um site sem ficar sobrecarregado., No entanto, o framework não pode protegê-lo dos erros de julgamento que você pode fazer ao tentar determinar se uma experiência foi bem sucedida ou não.
em alguns casos, pode parecer que você melhorou conversões, mas com o tempo, as mudanças podem não produzir um aumento consistente nas conversões. Para se proteger de tal situação, você precisa garantir que seus resultados são considerados estatisticamente significantes. se não forem estatisticamente significativas, o que achas que é uma melhoria pode ser apenas um resultado instantâneo., Idealmente, as suas experiências devem ter um significado estatístico de, pelo menos, 95%. Ao verificar a significância estatística dos seus resultados e garantir que eles marcam acima de 95%, você pode determinar de forma confiável se você tem uma variação vencedora em suas mãos e se as mudanças valem a pena manter. agora, se você não está matematicamente inclinado ou o conceito de significância estatística assusta você-não se preocupe. Nós criamos a Calculadora de testes Effin a/B. Esta simples extensão cromática pode ser usada para determinar se seus resultados são estatisticamente significativos.,
é muito fácil de usar. Tudo que você tem a fazer é colocar em seus números de tráfego e conversão e a ferramenta irá mostrar seus resultados. Não é preciso brincar com fórmulas complicadas! é claro que pode usar Outras ferramentas e métodos. O que quer que você faça, apenas certifique-se de que você sempre verificar o significado estatístico de seus resultados antes de decidir sobre uma variação vencedora.
conclusão
realização de experiências A / B pode tornar-se muito esmagadora, muito rapidamente. Usando a nossa abordagem de vício, no entanto, você pode evitar isso., Desde que você passe o tempo necessário para chegar a hipóteses, tudo que você precisa fazer é usar a abordagem do vício para descobrir onde você deve se concentrar. depois de ter gerado alguns dados relacionados com o teste, verifique a sua significância estatística. Dependendo do resultado retornado, você saberá se as mudanças valem a pena manter. Teste de A / B é algo que você vai querer fazer o mais rápido possível, então tente tomar medidas sobre o que você aprendeu rapidamente.
claro, você pode não acertar as coisas da primeira vez-mas a abordagem VICE irá definitivamente reduzir as chances de fracasso e esforço desperdiçado.,