para tomar decisiones inteligentes en el trabajo, necesitamos datos. De dónde provienen esos datos y cómo los analizamos depende de muchos factores, por ejemplo, lo que estamos tratando de hacer con los resultados, cuán precisos necesitamos que sean los hallazgos y cuánto presupuesto tenemos. Hay un espectro de experimentos que los gerentes pueden hacer, desde rápidos e informales, hasta estudios piloto, experimentos de campo e investigación de laboratorio., Uno de los experimentos más estructurados es el experimento controlado aleatorio.
para comprender mejor qué es un experimento controlado aleatorio y cómo las empresas lo utilizan, hablé con Tom Redman, autor de Data Driven: Profiting from Your Most Important Business Asset. También asesora a las organizaciones en sus programas de datos y calidad de datos.
¿qué es un experimento controlado aleatorio?,
cuando las personas escuchan el término, con mayor frecuencia piensan en ensayos clínicos, donde un grupo recibe un tratamiento y otro un placebo, pero las compañías farmacéuticas y los científicos médicos no son los únicos que usan este tipo de experimentos. Todo tipo de negocios pueden llevar a cabo estos experimentos, y no necesariamente tienen que ser costosos o consumir mucho tiempo, solo tienen que ser «controlados» e incluir un elemento de «aleatorización».»
empecemos con la palabra experimento. «Un experimento es una actividad planificada cuyo propósito es aprender algo sobre el mundo», explica Redman., Él da el ejemplo de los niños de dos años, que están constantemente haciendo experimentos: «piensan, ‘si grito, mamá vendrá corriendo.»Están recopilando datos sobre el mundo, y aunque no está controlado, lo están haciendo intencionalmente.»
Aquí hay un ejemplo más relacionado con el negocio. Digamos que está en el negocio de la perforación de pozos de petróleo, y tiene una nueva broca que es operada por un programa de inteligencia artificial que ajusta la presión y la velocidad con la que está girando la broca., Desea saber cómo se compara esta broca nueva y más cara con la que está utilizando actualmente, por lo que realiza un experimento comparando su broca existente con la nueva. Usted selecciona 30 pozos y perfora 15 de ellos con la broca vieja y 15 con la nueva. Ese es tu experimento, y tu variable de interés podría ser la eficiencia con la que perforaste el pozo.
tenga en cuenta que el número de pozos aquí es bastante pequeño en comparación con un experimento, por ejemplo, donde está mostrando a 1,000 clientes potenciales una nueva campaña de marketing., Cuanto mayor sea el tamaño de la muestra, más probable será que tengas resultados estadísticamente significativos. Pero también hay que ser realistas sobre el costo de su experimento, y dado que cuesta millones de dólares perforar un pozo de petróleo, es probable que ejecute este experimento en un número menor de pozos.
en un experimento, la variable de interés se llama su variable dependiente (tenga en cuenta que puede tener múltiples variables dependientes, pero en aras de la simplicidad aquí, me referiré a una variable dependiente)., Pero también hay muchas variables independientes: factores que sospechas que tienen un impacto en tu variable dependiente. «Por lo general, en un experimento, estás tratando de aprender algo sobre una o, como mucho, algunas variables independientes, pero muchos otros factores pueden interferir», dice Redman. Usted quiere saber qué taladro es mejor, pero otros factores, como el tamaño del pozo, su profundidad y lo que está cavando, también afectarán la eficiencia con la que perfora el pozo y complicarán su evaluación del nuevo taladro., Del mismo modo, en un ensayo clínico, hay muchos otros factores, como la edad de los pacientes, la salud general, los regímenes de ejercicio y la presión arterial, que pueden hacer que sea difícil ver si los resultados del experimento realmente se pueden atribuir al medicamento en lugar de algún otro factor.
Aquí es donde entra la palabra «controlado». Este término puede ser confuso porque los estadísticos lo usan para describir más de un concepto. Como Redman bromea, » ¡deja que los estadísticos confundan un concepto perfectamente simple!,»El primer significado es» aislar el impacto de una (o algunas) variables», explica Redman. «Controlado», en este sentido, significa poner restricciones para que ciertas variables no afecten el resultado de su experimento. Por lo tanto, en un ensayo clínico de medicamentos, es posible que le preocupe que la dieta de los participantes afecte si el medicamento es efectivo. Usted «controla» esto poniendo a todos los pacientes en la misma dieta durante la duración del experimento., Del mismo modo, en el experimento de perforación, es posible que desee asegurarse de tener en cuenta la «dureza esperada de la roca», por lo que puede crear 15 pares de pozos basados en lo difícil que espera que sean para perforar. Eso controlaría la dureza esperada. También puede asegurarse de utilizar equipos y equipos de perforación para controlar el impacto que esos factores pueden tener en el experimento.
muchos experimentos controlados aleatorios se realizan en un laboratorio porque» es más fácil controlar las cosas en un entorno de laboratorio», dice Redman., Pero por lo que Redman sabe, no hay un «laboratorio de perforación de pozos», así que haces lo mejor que puedes. Por ejemplo, probablemente pueda controlar mejor la dureza de la roca instalando dos plataformas a 50 pies de distancia en la misma ubicación y cavando pozos secos. Eso le dará un resultado más confiable en términos de cómo funcionan las brocas nuevas y viejas en circunstancias similares, pero también le costará mucho dinero y no ganará dinero en el proceso. Así que tienes que decidir cuánto vale la pena controlar el costo.,
el segundo significado de» control » se refiere a los grupos que está estudiando: un grupo de control y un grupo de tratamiento. Aquí control significa la forma actual de hacer las cosas (por ejemplo, la parte antigua) y tratamiento significa la nueva forma de hacer las cosas (por ejemplo, la parte nueva). Esto es importante porque para juzgar los resultados de su experimento, usted tiene que preguntar «¿comparado con qué?»No empiezas a perforar con la nueva broca y decides que es mejor.»Tienes que compararlo con un grupo de control, en este caso, los 15 pozos que estás cavando con la broca vieja, que es tu línea de base.,
del mismo modo, al probar un nuevo medicamento, debe tener en cuenta el «efecto placebo», donde las personas mejoran simplemente porque creen que están recibiendo tratamiento, por lo que trata a su grupo de control exactamente igual que el grupo de tratamiento, y busca una mejora en el grupo de tratamiento en relación con el grupo de control.
Pero que los pozos o las personas entran en el grupo control y los que van en el grupo experimental? ¿Y quién entra en el experimento en primer lugar? Ahí es donde entra la aleatorización., Para negar los efectos de variables de las que no eres consciente (por ejemplo, los patrones de sueño del paciente en un ensayo clínico), asignas aleatoriamente sujetos al grupo de control o al grupo de tratamiento. Con sus pares de pozos arriba, escogería aleatoriamente, tal vez incluso lanzando una moneda, que obtiene el nuevo taladro en cada par. Esto es lo que Redman llama » sacar el sesgo oculto del experimento.»Después de todo, si todos los pacientes sanos reciben el tratamiento y luego mejoran, no se ha demostrado nada., O si perfora accidentalmente 15 de los pozos más fáciles de excavar con la nueva broca, realmente no sabe si es mejor.
la aleatorización (junto con un tamaño de muestra más grande) te hace sentir más seguro de que cualquier resultado que obtengas es realmente causado por la variable independiente de interés — en el caso farmacéutico, el efecto del fármaco — y por lo tanto es «generalizable más allá del experimento», según Redman.
si esta clasificación de participantes suena como una prueba A / B, es porque son similares., A / B puede ser un experimento controlado aleatorio, suponiendo que haya controlado factores y sujetos aleatorios, pero no todos los experimentos controlados aleatorios son pruebas A / B.
así que vamos a poner todo junto. En palabras de Redman: «la idea es aislar las variables independientes que te interesan. Un experimento controlado aleatorio es un experimento en el que usted controla para tener en cuenta los factores que conoce y luego aleatorizar para tener en cuenta los que no lo hace.»
¿cuáles son los pasos básicos en la realización de un experimento controlado aleatorio?,
«no deje el diseño experimental en manos de los analistas de datos», dice Redman. Es importante que un gerente conozca y comprenda el proceso para que pueda colaborar mejor, con usted aportando el conocimiento y la experiencia con el negocio y el analista aportando la experiencia en la recopilación y el análisis de datos.
Estos son los pasos básicos:
- Decida cuál es su variable dependiente de interés (recuerde que puede haber más de una). En nuestro ejemplo de pozo de petróleo, es la velocidad o eficiencia con la que perfora el pozo.
- Determinar cuál es la población de interés., ¿Está interesado en comprender si la nueva broca funciona en todos sus pozos o solo en tipos específicos de pozos?
- pregúntese, ¿Qué es lo que estamos tratando de hacer con este experimento? ¿Cuál es la hipótesis nula – el hombre de paja que estás tratando de refutar? ¿Cuál es la hipótesis alternativa? Su hipótesis nula en este caso podría ser, » no hay diferencia entre los dos bits.»Su hipótesis alternativa podría ser,» la nueva broca es más rápida.,»
- piense en todos los factores que podrían arruinar su experimento, por ejemplo, si las brocas están unidas a diferentes tipos de máquinas o se utilizan en tipos particulares de pozos.
- Escribir un protocolo de investigación, el proceso por el cual se lleva a cabo el experimento. ¿Cómo vas a construir los controles? ¿Qué tamaño de muestra necesita? ¿Cómo vas a seleccionar los pozos? ¿Cómo va a configurar la aleatorización?
- Una vez que tenga un protocolo, Redman sugiere que haga un experimento a pequeña escala para probar si el proceso que ha establecido funcionará., «La razón para hacer un estudio piloto es que lo más probable es que te caigas en tu a**, y duele menos cuando se llama un estudio piloto», bromea. Con un experimento como el de la broca, puede omitir el piloto debido al costo y el tiempo involucrados en la perforación de un pozo.
- Revise el protocolo basado en lo que aprendió en su estudio piloto.
- realice el experimento, siguiendo el protocolo lo más de cerca posible.
- analice los resultados, buscando los resultados planificados y manteniendo los ojos abiertos para los inesperados.,
después de que haya analizado los resultados (y probablemente haya probado si son estadísticamente significativos), ponga los resultados en práctica. Aquí es donde la goma golpea el camino, por supuesto. Lo que se encuentra en un experimento de laboratorio no siempre se sostiene en el campo. Como dice Redman, » no se gana dinero en un laboratorio. Ganas dinero en el mundo real. Así que sal del laboratorio rápidamente.»
¿qué errores comete la gente al hacer experimentos controlados aleatorios?,
Redman dice que uno de los mayores errores que cometen las empresas es simplemente no hacer suficientes experimentos, no solo experimentos controlados aleatorios, sino incluso más informales que son menos costosos y requieren mucho tiempo. «Se espera que los gerentes conozcan las respuestas. Para que un gerente diga, ‘No estoy seguro de saber, hagamos un experimento’, requiere una cierta cantidad de sofisticación y comprensión de cómo ejecutar estas cosas.»Pero sin experimentos, no puedes estar seguro de que tus corazonadas sean correctas.,
incluso los gerentes que están dispuestos a pedir experimentos a menudo no planifican el experimento con suficiente cuidado. Redman dice que es importante hacer todos los pasos descritos anteriormente, pero la mayoría de las veces, los gerentes hacen los primeros pasos — averiguar la variable de interés y tal vez la población — y luego pasar a realizar el experimento. «No han hecho el pensamiento», dice Redman. «Trae a la gente de vuelta a esas clases tontas de ciencias que no les gustaban», pero eso no hace que los pasos sean menos críticos.,
esto conduce a otro error: no ha puesto suficientes controles en su lugar para aislar las variables que le interesan. Es fácil meter la pata. Hacer estos experimentos requiere saber mucho sobre el diseño experimental. ¿Cómo exactamente aíslas los factores que estás tratando de estudiar? Pero no hacerlo significa que podría atribuir los resultados a los factores equivocados.
El último error que Redman señala es fácil de resolver: no involucrar al analista., «Muchos gerentes piensan que solo pueden lanzar datos a un científico de datos», dice, pero » todo analista de datos que se precie querrá participar en la configuración del experimento y la redacción del protocolo.»Y eso es bueno para todos. Cuanto antes en el proceso colaboren, más probable será que puedan beneficiarse de la experiencia del otro.