Per prendere decisioni intelligenti sul lavoro, abbiamo bisogno di dati. Da dove provengono questi dati e come li analizziamo dipende da molti fattori-ad esempio, cosa stiamo cercando di fare con i risultati, quanto accurati abbiamo bisogno che i risultati siano e quanto di un budget abbiamo. C’è uno spettro di esperimenti che i manager possono fare da quelli veloci e informali, a studi pilota, a esperimenti sul campo e alla ricerca di laboratorio., Uno degli esperimenti più strutturati è l’esperimento controllato randomizzato.
Per capire meglio cos’è un esperimento controllato randomizzato e come le aziende li usano, ho parlato con Tom Redman, autore di Data Driven: trarre profitto dal tuo asset aziendale più importante. Egli consiglia anche le organizzazioni sui loro dati e programmi di qualità dei dati.
Che cos’è un esperimento controllato randomizzato?,
Quando le persone sentono il termine, pensano più spesso agli studi clinici, in cui a un gruppo viene somministrato un trattamento e un altro un placebo, ma le aziende farmaceutiche e gli scienziati medici non sono gli unici che usano questi tipi di esperimenti. Tutti i tipi di aziende possono condurre questi esperimenti, e necessariamente non hanno bisogno di essere costoso o che richiede tempo — hanno solo bisogno di essere “controllato” e includere un elemento di “randomizzazione.”
Iniziamo con la parola esperimento. ” Un esperimento è un’attività pianificata il cui scopo è imparare qualcosa sul mondo”, spiega Redman., Dà l’esempio dei bambini di due anni, che eseguono costantemente esperimenti: “Pensano: ‘Se urlo, la mamma verrà di corsa.”Stanno raccogliendo dati sul mondo e, sebbene non siano controllati, lo stanno facendo intenzionalmente.”
Ecco un esempio più correlato al business. Diciamo che siete nel business della perforazione di pozzi petroliferi, e si dispone di una nuova punta da trapano che è gestito da un programma di intelligenza artificiale che regola la pressione e la velocità con cui si sta girando la punta., Vuoi sapere come questo nuovo bit più costoso si confronta con il bit che stai attualmente utilizzando, quindi conduci un esperimento confrontando la tua punta da trapano esistente con quella nuova. Si seleziona 30 pozzi e trapano 15 di loro con il vecchio bit e 15 con il nuovo. Questo è il tuo esperimento, e la tua variabile di interesse potrebbe essere l’efficienza con cui hai perforato il pozzo.
Nota che il numero di pozzi qui è piuttosto piccolo rispetto a un esperimento, ad esempio, in cui stai mostrando a 1.000 potenziali clienti una nuova campagna di marketing., Maggiore è la dimensione del campione, maggiore è la probabilità di ottenere risultati statisticamente significativi. Ma devi anche essere realistico sul costo del tuo esperimento, e dato che costa milioni di dollari per perforare un pozzo petrolifero, è probabile che tu esegua questo esperimento su un numero minore di pozzi.
In un esperimento, la variabile di interesse è chiamata la tua variabile dipendente (nota che potresti avere più variabili dipendenti, ma per semplicità qui, farò riferimento a una variabile dipendente)., Ma ci sono anche molte variabili indipendenti: i fattori che sospetti hanno un impatto sulla tua variabile dipendente. “Di solito in un esperimento, stai cercando di imparare qualcosa su una, o al massimo alcune variabili indipendenti, ma molti altri fattori possono intralciare”, afferma Redman. Vuoi sapere quale trapano è migliore, ma altri fattori, come la dimensione del pozzo, la sua profondità e ciò che stai scavando, influenzeranno anche l’efficienza con cui perfori il pozzo e complicano la valutazione del nuovo trapano., Allo stesso modo, in uno studio clinico, ci sono molti altri fattori, come l’età dei pazienti, la salute generale, i regimi di esercizio e la pressione sanguigna, che possono rendere difficile vedere se i risultati dell’esperimento possono davvero essere attribuiti al farmaco al contrario di qualche altro fattore.
È qui che entra in gioco la parola “controllato”. Questo termine può essere fonte di confusione perché gli statistici lo usano per descrivere più di un concetto. Come Redman scherza, ” Lascia che siano gli statistici a offuscare un concetto perfettamente semplice!,”Il primo significato è” isolare l’impatto di una (o di alcune) variabili”, spiega Redman. “Controllato”, in questo senso, significa mettere in atto restrizioni in modo che determinate variabili non influenzino l’esito del tuo esperimento. Quindi, in uno studio clinico di farmaci, potresti essere preoccupato che la dieta dei partecipanti influenzerà se il farmaco è efficace. Si “controlla” per questo mettendo tutti i pazienti sulla stessa dieta per tutta la durata dell’esperimento., Allo stesso modo, nell’esperimento di perforazione, potresti voler essere sicuro di tenere conto della “durezza prevista della roccia”, quindi puoi creare 15 coppie di pozzi in base a quanto ti aspetti che saranno difficili da perforare. Che controllerebbe per la durezza prevista. Si potrebbe anche fare in modo di utilizzare attrezzature di perforazione e gli equipaggi per controllare per l’impatto che questi fattori possono avere sull’esperimento.
Molti esperimenti controllati randomizzati vengono eseguiti in laboratorio perché “è più facile controllare le cose in un ambiente di laboratorio”, afferma Redman., Ma per quanto ne sa Redman, non esiste un “laboratorio di trivellazione”, quindi fai del tuo meglio. Ad esempio, probabilmente è possibile controllare meglio la durezza della roccia installando due impianti a 50 piedi di distanza nella stessa posizione e scavando pozzi asciutti. Che vi darà un risultato più affidabile in termini di come le nuove e vecchie punte da trapano eseguire in circostanze simili, ma vi costerà anche un sacco di soldi da fare, e non fare soldi nel processo. Quindi devi decidere quanto controllo vale il costo.,
Il secondo significato di “controllo” è in riferimento ai gruppi che stai studiando — un gruppo di controllo e un gruppo di trattamento. Qui il controllo significa il modo attuale di fare le cose (ad esempio, il vecchio bit) e il trattamento significa il nuovo modo di fare le cose (ad esempio, il nuovo bit). Questo è importante perché per giudicare i risultati del tuo esperimento, devi chiedere ” rispetto a cosa?” Non basta iniziare la perforazione con il nuovo bit e decidere ” è meglio.”Devi confrontarlo con un gruppo di controllo — in questo caso, i pozzi 15 che stai scavando con il vecchio bit, che è la tua linea di base.,
Allo stesso modo, quando si prova un nuovo farmaco, è necessario tenere conto dell ‘ “effetto placebo”, in cui le persone migliorano semplicemente perché pensano di essere trattate, quindi trattate il gruppo di controllo esattamente come il gruppo di trattamento e cercate un miglioramento nel gruppo di trattamento rispetto al gruppo di controllo.
Ma quali pozzi o persone entrano nel gruppo di controllo e quali nel gruppo sperimentale? E chi entra nell’esperimento in primo luogo? Ecco dove entra in gioco la randomizzazione., Per negare gli effetti di variabili di cui non si è a conoscenza (ad esempio i modelli di sonno del paziente in uno studio clinico), si assegnano casualmente soggetti al gruppo di controllo o al gruppo di trattamento. Con le tue coppie di pozzi sopra, sceglierai casualmente, forse anche lanciando una moneta, che ottiene il nuovo trapano in ogni coppia. Questo è ciò che Redman chiama ” prendere il pregiudizio nascosto dall’esperimento.”Dopo tutto, se tutti i pazienti sani ricevono il trattamento e poi migliorano, non hai dimostrato nulla., O se forate accidentalmente 15 dei pozzi più facili da scavare con il nuovo bit, non sai davvero se è meglio.
La randomizzazione (insieme a una dimensione del campione più ampia) ti fa sentire più sicuro che qualsiasi risultato che ottieni è effettivamente causato dalla variabile indipendente di interesse — nel caso farmaceutico, l’effetto del farmaco — e quindi è “generalizzabile oltre l’esperimento”, secondo Redman.
Se questo ordinamento dei partecipanti suona come test A/B, è perché sono simili., A/B può essere un esperimento controllato randomizzato, supponendo che tu abbia controllato fattori e soggetti randomizzati, ma non tutti gli esperimenti controllati randomizzati sono test A / B.
Quindi mettiamo tutto insieme. Nelle parole di Redman: “L’intera idea è quella di isolare le variabili indipendenti che ti interessano. Un esperimento controllato randomizzato è un esperimento in cui controlli per tenere conto dei fattori che conosci e poi randomizza per tenere conto di quelli che non lo fai.”
Quali sono i passaggi fondamentali nella conduzione di un esperimento controllato randomizzato?,
“Non lasciare solo la progettazione sperimentale agli analisti dei dati”, afferma Redman. È importante per un manager conoscere e comprendere il processo in modo da poter collaborare meglio, con te portando la conoscenza e l’esperienza con l’azienda e l’analista portando l’esperienza nella raccolta e nell’analisi dei dati.
Ecco i passaggi di base:
- Decidi quale sia la tua variabile di interesse dipendente (ricorda che potrebbe esserci più di una). Nel nostro esempio di pozzo petrolifero, è la velocità o l’efficienza con cui si fora il pozzo.
- Determina qual è la popolazione di interesse., Sei interessato a capire se il nuovo bit funziona in tutti i tuoi pozzi o solo tipi specifici di quelli?
- Chiediti, cosa stiamo cercando di fare con questo esperimento? Qual è l’ipotesi nulla – l’uomo di paglia che stai cercando di confutare? Qual è l’ipotesi alternativa? La tua ipotesi nulla in questo caso potrebbe essere: “Non c’è differenza tra i due bit.”La tua ipotesi alternativa potrebbe essere,” La nuova punta è più veloce.,”
- Pensare attraverso tutti i fattori che potrebbero rovinare il vostro esperimento — per esempio, se le punte sono collegati a diversi tipi di macchine o sono utilizzati in particolari tipi di pozzi.
- Scrivi un protocollo di ricerca, il processo attraverso il quale viene eseguito l’esperimento. Come hai intenzione di costruire nei controlli? Quanto grande di una dimensione del campione avete bisogno? Come hai intenzione di selezionare i pozzi? Come hai intenzione di impostare la randomizzazione?
- Una volta che si dispone di un protocollo, Redman suggerisce di fare un esperimento su piccola scala per verificare se il processo che hai disposto funzionerà., “La ragione per fare uno studio pilota è che molto probabilmente cadrai sul tuo a**, e fa meno male quando si chiama studio pilota”, scherza. Con un esperimento come la punta del trapano uno, si può saltare il pilota a causa del costo e del tempo coinvolti nella perforazione di un pozzo.
- Rivedere il protocollo in base a ciò che avete imparato nel vostro studio pilota.
- Conduci l’esperimento, seguendo il protocollo il più vicino possibile.
- Analizza i risultati, cercando entrambi i risultati pianificati e tenendo gli occhi aperti per quelli inaspettati.,
Dopo aver analizzato i risultati (e probabilmente testato se sono statisticamente significativi) si mettono i risultati in pratica. Questo è dove la gomma colpisce la strada, naturalmente. Ciò che si trova in un esperimento di laboratorio potrebbe non sempre reggere sul campo. Come dice Redman, ” Non si fanno soldi in un laboratorio. Si fanno soldi nel mondo reale. Quindi esci dal laboratorio in fretta.”
Quali errori fanno le persone quando fanno esperimenti controllati randomizzati?,
Redman dice che uno dei più grandi errori che le aziende fanno è semplicemente non fare abbastanza esperimenti — non solo esperimenti controllati randomizzati, ma anche quelli più informali che sono meno costosi e richiedono molto tempo. “I manager sono tenuti a conoscere le risposte. Per un manager di dire, ‘Non sono sicuro di sapere, facciamo un esperimento,’ richiede una certa quantità di sofisticazione e comprensione di come eseguire queste cose.”Ma senza esperimenti, non puoi davvero essere sicuro che le tue intuizioni siano giuste.,
Anche i manager che sono disposti a richiedere esperimenti spesso non pianificano l’esperimento con sufficiente attenzione. Redman dice che è importante fare tutti i passaggi descritti sopra, ma il più delle volte, i manager fanno i primi passi — capire la variabile di interesse e forse la popolazione — e poi saltare avanti per condurre l’esperimento. ” Non hanno fatto il pensiero”, dice Redman. “Riporta le persone a quelle lezioni di scienze stupide che non gli piacevano” ” ma ciò non rende i passaggi meno critici.,
Questo porta ad un altro errore: non hai messo abbastanza controlli in atto per isolare le variabili a cui sei interessato. È facile rovinare tutto. Fare questi esperimenti richiede conoscere molto sulla progettazione sperimentale. Esattamente come si fa a isolare i fattori che si sta cercando di studiare? Ma non riuscendo a fare questo significa che si potrebbe attribuire i risultati ai fattori sbagliati.
L’ultimo errore che Redman sottolinea è facile da risolvere: non coinvolgere l’analista., ” Molti manager pensano di poter semplicemente lanciare dati a uno scienziato dei dati”, dice, ma ” ogni analista di dati che si rispetti vorrà essere coinvolto nella creazione dell’esperimento e nella scrittura del protocollo.” E questo è solo un bene per tutti. Quanto prima nel processo si collabora, più è probabile che sarete in grado di guadagnare dalla reciproca esperienza.