In order to make smart decisions at work, we need data. De onde esses dados vêm e como os analisamos depende de um monte de fatores — por exemplo, o que estamos tentando fazer com os resultados, quão precisos precisamos que os resultados sejam, E quanto de um orçamento temos. Há um espectro de experiências que os gestores podem fazer desde experiências rápidas e informais, a estudos-piloto, a experiências de campo e a pesquisas de laboratório., Um dos experimentos mais estruturados é o experimento controlado randomizado.para entender melhor o que é uma experiência controlada aleatória e como as empresas as usam, falei com Tom Redman, autor de Data Driven: lucrando com o seu ativo empresarial mais importante. Ele também aconselha as organizações em seus programas de qualidade de dados e dados.o que é uma experiência controlada aleatória?,
quando as pessoas ouvem o termo, muitas vezes pensam em ensaios clínicos, onde um grupo recebe um tratamento e outro um placebo, mas as empresas farmacêuticas e os cientistas médicos não são os únicos a usar este tipo de experiências. Todos os tipos de negócios podem realizar esses experimentos, e eles necessariamente não precisam ser caros ou demorados — eles só precisam ser “controlados” e incluir um elemento de “aleatorização”.”
Let’s start with the word experiment. “Uma experiência é uma atividade planejada cujo objetivo é aprender algo sobre o mundo”, explica Redman., Ele dá o exemplo de crianças de dois anos, que estão constantemente fazendo experimentos: “eles pensam, ‘se eu gritar, a mãe virá correndo. Eles estão coletando dados sobre o mundo, e enquanto ele não é controlado, eles estão fazendo isso de forma propositada.”
Aqui está um exemplo mais relacionado com negócios. Digamos que você está no negócio de perfuração de poços de petróleo, e você tem uma nova broca que é operada por um programa de inteligência artificial que ajusta a pressão e velocidade com que você está girando a parte., Você quer saber como este novo, Mais caro bit se compara ao bit que você está usando atualmente, então você realiza uma experiência comparando seu bit de broca existente com o novo. Selecciona 30 poços e perfura 15 com o velho e 15 com o novo. Essa é a sua experiência, e a sua variável de interesse pode ser a eficiência com que perfurou o poço.
Note que o número de poços aqui é muito pequeno em comparação com uma experiência, por exemplo, onde você está mostrando 1.000 clientes potenciais uma nova campanha de marketing., Quanto maior for o tamanho da amostra, mais provável terá resultados estatisticamente significativos. Mas você também tem que ser realista sobre o custo de sua experiência, e dado que custa milhões de dólares para perfurar um poço de Petróleo, você provavelmente vai executar esta experiência em um número menor de poços.
em uma experiência, a variável de interesse é chamada de sua variável dependente (note que você pode ter várias variáveis dependentes, mas por uma questão de simplicidade aqui, eu vou me referir a uma variável dependente)., Mas também existem muitas variáveis independentes-fatores que você suspeita ter um impacto em sua variável dependente. “Normalmente em uma experiência, você está tentando aprender algo sobre uma, ou no máximo algumas, variáveis independentes, mas muitos outros fatores podem se intrometer”, diz Redman. Você quer saber qual broca é melhor, mas outros fatores, como o tamanho do poço, sua profundidade, e o que você está cavando, também afetará a eficiência com que você perfura o poço e complicará sua avaliação do novo Broca., Da mesma forma, em um ensaio clínico, há um monte de outros fatores, tais como idade dos pacientes, saúde geral, regimes de exercício, e pressão arterial, que podem tornar difícil ver se os resultados da experiência podem realmente ser atribuídos ao medicamento, em oposição a algum outro fator.
é aqui que entra a palavra “controlado”. Este termo pode ser confuso porque os estaticistas o usam para descrever mais de um conceito. Como Redman brinca, ” deixe para os estaticistas ofuscar um conceito perfeitamente simples!,”O primeiro significado é” isolar o impacto de uma (ou algumas) variáveis”, explica Redman. “Controlado”, neste sentido, significa colocar restrições para que certas variáveis não impactem o resultado de sua experiência. Então, em um ensaio clínico de drogas, você pode estar preocupado que a dieta dos participantes irá afetar se a medicação é eficaz. Você “controla” para isso colocando todos os pacientes na mesma dieta durante a experiência., Da mesma forma, na experiência de perfuração, você pode querer ter certeza de que você conta para a “dureza esperada da rocha”, então você pode criar 15 pares de poços com base no quão difícil você espera que eles serão para perfurar. Isso controlaria a dureza esperada. Você também pode se certificar de que você usa equipamentos de perfuração e tripulações para controlar o impacto que esses fatores podem ter na experiência.
muitos experimentos controlados aleatórios são feitos em um laboratório porque “é mais fácil controlar as coisas em um ambiente de laboratório”, diz Redman., Mas, tanto quanto o Redman sabe, não há nenhum “laboratório de perfuração”, por isso faz o melhor que pode. Por exemplo, você pode provavelmente controlar melhor para a dureza da Rocha, montando duas plataformas de 15 metros de distância no mesmo local e escavando poços secos. Isso lhe dará um resultado mais confiável em termos de como os novos e antigos Bits de perfuração funcionam em circunstâncias semelhantes, mas também irá custar-lhe muito dinheiro para fazer, e você não vai ganhar nenhum dinheiro no processo. Então você tem que decidir quanto controle vale o custo.,
O segundo significado de” controle ” é em referência aos grupos que você está estudando — um grupo de controle e um grupo de tratamento. Aqui controle significa a maneira atual de fazer as coisas (por exemplo, o bit antigo) e tratamento significa a nova maneira de fazer as coisas (por exemplo, o bit novo). Isso é importante porque para julgar os resultados de sua experiência, você tem que perguntar ” comparado com o quê?”Não se começa a perfurar com a nova parte e decide-se que é melhor.”Você tem que compará — lo com um grupo de controle-neste caso, os 15 poços que você está cavando com a parte antiga, que é a sua base.,
da mesma forma, ao testar uma nova droga, você precisa explicar o “efeito placebo”, onde as pessoas ficam melhores simplesmente porque elas pensam que estão sendo tratadas, então você trata o seu grupo de controle exatamente como o grupo de tratamento, e você procura melhoria no grupo de tratamento em relação ao grupo de controle.mas que poços ou pessoas entram no grupo de controlo e que entram no grupo experimental? E quem entra na experiência? É aí que entra a aleatorização., Para negar os efeitos de variáveis que você desconhece (digamos padrões de sono do paciente em um ensaio clínico), você aleatoriamente atribui sujeitos ao grupo de controle ou grupo de tratamento. Com seus pares de poços acima, você escolheria aleatoriamente, talvez até atirando uma moeda, que recebe a nova broca em cada par. Isto é o que Redman chama de ” tirar o preconceito oculto da experiência.”Afinal, se todos os pacientes saudáveis recebem o tratamento e depois melhoram, você não provou nada., Ou se você acidentalmente perfurar 15 dos poços mais fáceis de cavar com o novo pedaço, você realmente não sabe se é melhor.
randomização (juntamente com um tamanho de amostra maior) faz você se sentir mais confiante de que qualquer resultado que você obtém é realmente causado pela variável independente de interesse — no caso farmacêutico, o efeito da droga — e, portanto, é “generalizável para além do experimento”, de acordo com Redman.
Se esta classificação de participantes soa como teste A / B, isso é porque eles são semelhantes., A / B pode ser um experimento controlado randomizado, assumindo que você tem fatores controlados e sujeitos randomizados, mas nem todos os experimentos randomizados controlados são testes A / B.vamos juntar tudo. Nas palavras de Redman: “toda a idéia é isolar as variáveis independentes que lhe interessam. Um experimento controlado randomizado é um experimento onde você controla para explicar os fatores que você conhece e então aleatorizar para explicar aqueles que você não conhece.”
quais são os passos básicos na realização de um experimento controlado randomizado?,
“Don’t just leave experimental design up to the data analysts”, diz Redman. É importante para um gerente conhecer e entender o processo para que você possa colaborar melhor, com você trazendo o conhecimento e a experiência com o negócio e o analista trazendo a experiência na coleta e análise de dados.
Aqui estão os passos básicos:
- decida qual é a sua variável de interesse dependente (lembre-se que pode haver mais de um). Em nosso exemplo de poço de petróleo, é a velocidade ou eficiência com que você perfura o poço.
- determina qual é a população de interesse., Você está interessado em entender se o novo bit funciona em todos os seus poços ou apenas tipos específicos de uns?pergunte-se, o que estamos a tentar fazer com esta experiência? Qual é a hipótese nula – o homem de palha que estás a tentar refutar? Qual é a hipótese alternativa? Sua hipótese nula neste caso pode ser: “não há diferença entre os dois bits.”A tua hipótese alternativa pode ser,” a nova broca é mais rápida.,”
- pense em todos os fatores que poderiam estragar o seu experimento — por exemplo, se os bits de perfuração estão ligados a diferentes tipos de máquinas ou são usados em tipos particulares de poços.
- Escreva um protocolo de pesquisa, o processo pelo qual a experiência é realizada. Como você vai construir nos controles? De que tamanho precisas? Como vais escolher os poços? Como vais organizar a aleatorização?uma vez que você tenha um protocolo, Redman sugere que você faça um experimento em pequena escala para testar se o processo que você colocou funcionará., “A razão para fazer um estudo piloto é que você provavelmente vai cair em seu A**, E dói menos quando é chamado de estudo piloto”, ele brinca. Com uma experiência como a broca bit one, você pode saltar o piloto por causa do custo e tempo envolvido na perfuração de um poço.reveja o protocolo com base no que aprendeu no seu estudo-piloto.Conduza a experiência, seguindo o protocolo o mais perto possível.
- analise os resultados, procurando ambos os resultados planejados e mantendo os olhos abertos para os inesperados.,
Depois de analisar os resultados (e provavelmente testado se eles são estatisticamente significantes) você coloca os resultados em prática. É aqui que a borracha bate na estrada, claro. O que se encontra numa experiência laboratorial pode nem sempre ser válido no terreno. Como o Redman diz, ” não se ganha dinheiro num laboratório. Ganhas dinheiro no mundo real. Então sai do laboratório depressa.”
que erros as pessoas cometem ao fazer experiências controladas aleatórias?,
Redman diz que um dos maiores erros que as empresas cometem é simplesmente não fazer experiências suficientes-não apenas experiências controladas aleatórias, mas ainda mais informais que são menos dispendiosas e demoradas. “Espera-se que os gestores saibam respostas. Para um gerente dizer, “Eu Não tenho certeza eu sei, vamos fazer uma experiência”, requer uma certa quantidade de sofisticação e compreensão de como dirigir essas coisas.”Mas sem experiências, não podemos ter a certeza de que os nossos palpites estão certos.,mesmo os gestores que estão dispostos a pedir experiências muitas vezes não planeiam a experiência com cuidado suficiente. Redman, diz que é importante fazer todos os passos descritos acima, mas mais frequentemente do que não, os gerentes de fazer os primeiros passos para descobrir a variável de interesse e, talvez, a população — e, em seguida, pular para a realização do experimento. “Eles não pensaram”, diz Redman. Traz as pessoas de volta às aulas de Ciências idiotas de que não gostavam, mas isso não torna os passos menos críticos.,
isso leva a outro erro: você não colocou controles suficientes no lugar para isolar a(s) variável (s) que você está interessado. É fácil estragar tudo. Fazer estas experiências requer saber muito sobre design experimental. Como é que se isolam os factores que se está a tentar estudar? Mas não fazer isso significa que você pode atribuir os resultados aos fatores errados.
O Último erro que Redman aponta é fácil de resolver: não envolvendo o analista., “Muitos gerentes pensam que podem simplesmente atirar dados para um cientista de dados”, diz ele, mas ” todo Analista de dados que se preze vai querer estar envolvido na criação da experiência e na redação do protocolo.”E isso é bom para todos. Quanto mais cedo no processo você colaborar, mais provável você será capaz de ganhar com a experiência um do outro.