för att kunna fatta smarta beslut på jobbet behöver vi data. Var dessa data kommer ifrån och hur vi analyserar det beror på många faktorer — till exempel vad vi försöker göra med resultaten, hur exakt vi behöver resultaten vara och hur mycket av en budget vi har. Det finns ett spektrum av experiment som chefer kan göra från snabba, informella, till pilotstudier, fältexperiment och till laboratorieforskning., Ett av de mer strukturerade experimenten är det randomiserade kontrollerade experimentet.
för att bättre förstå vad ett randomiserat kontrollerat experiment är och hur företag använder dem, pratade jag med Tom Redman, författare till datadriven: dra nytta av din viktigaste affärstillgång. Han råder också organisationer om sina data-och datakvalitetsprogram.
Vad är ett randomiserat kontrollerat experiment?,
När människor hör termen tänker de oftast på kliniska prövningar, där en grupp ges en behandling och en annan placebo, men läkemedelsföretag och medicinska forskare är inte de enda som använder dessa typer av experiment. Alla typer av företag kan utföra dessa experiment, och de behöver nödvändigtvis inte vara kostsamma eller tidskrävande — de behöver bara vara ”kontrollerade” och inkludera ett element av ”randomisering.”
låt oss börja med ordet experiment. ”Ett experiment är en planerad verksamhet vars syfte är att lära sig något om världen”, förklarar Redman., Han ger exempel på tvååringar, som ständigt kör experiment: ”de tror,” om jag skriker, kommer mamma att springa.”De samlar in data om världen, och medan den inte kontrolleras, gör de det avsiktligt.”
Här är ett mer affärsrelaterat exempel. Låt oss säga att du är i branschen för att borra oljekällor, och du har en ny borr som drivs av ett artificiellt intelligensprogram som justerar trycket och hastigheten med vilken du vrider biten., Du vill veta hur den här nya, dyrare biten jämför med den bit du använder för närvarande, så du utför ett experiment som jämför din befintliga borr med den nya. Du väljer 30 brunnar och borra 15 av dem med den gamla biten och 15 med den nya. Det är ditt experiment, och din variabel av intresse kan vara hur effektivt du borrade brunnen.
Observera att antalet brunnar här är ganska litet jämfört med ett experiment, till exempel där du visar 1 000 potentiella kunder en ny marknadsföringskampanj., Ju större din provstorlek desto mer sannolikt kommer du att ha resultat som är statistiskt signifikanta. Men du måste också vara realistisk om kostnaden för ditt experiment, och med tanke på att det kostar miljontals dollar för att borra en oljekälla, kommer du sannolikt att köra detta experiment på ett mindre antal brunnar.
i ett experiment kallas variabeln av intresse din beroende variabel (Observera att du kanske har flera beroende variabler, men för enkelhetens skull hänvisar jag till en beroende variabel)., Men det finns också massor av oberoende variabler — faktorer som du misstänker har en inverkan på din beroende variabel. ”Vanligtvis i ett experiment försöker du lära dig något om en, eller högst några, oberoende variabler, men många andra faktorer kan komma i vägen”, säger Redman. Du vill veta vilken borr är bättre, men andra faktorer, såsom storleken på brunnen, dess djup, och vad du gräver igenom, kommer också att påverka hur effektivt du borra brunnen och komplicera din utvärdering av den nya borren., På samma sätt finns det i en klinisk studie många andra faktorer, såsom patienternas ålder, allmän hälsa, träningsregimer och blodtryck, som kan göra det svårt att se om resultaten av experimentet verkligen kan hänföras till läkemedlet i motsats till någon annan faktor.
det är här ordet ”kontrollerad” kommer in. Denna term kan vara förvirrande eftersom statistiker använder den för att beskriva mer än ett koncept. Som Redman skämt, ” lämna det till statistikerna för att förvränga ett helt enkelt koncept!,”Den första meningen är att” isolera effekten av en (eller några) variabler”, förklarar Redman. ”Kontrollerad” betyder i den meningen att man sätter restriktioner på plats så att vissa variabler inte påverkar resultatet av experimentet. Så i en klinisk drogtest kan du vara orolig för att deltagarnas kost kommer att påverka om medicinen är effektiv. Du ”kontrollerar” för detta genom att sätta alla patienter på samma diet under experimentets varaktighet., På samma sätt, i borrningsexperimentet, kanske du vill vara säker på att du står för ”förväntad hårdhet av berget”, så du kan skapa 15 Par brunnar baserat på hur svårt du förväntar dig att de ska vara att borra. Det skulle styra för den förväntade hårdheten. Du kan också se till att du använder borrutrustning och besättningar för att kontrollera för den inverkan dessa faktorer kan ha på experimentet.
många randomiserade kontrollerade experiment görs i ett labb eftersom ”det är lättare att kontrollera saker i en laboratorieinställning”, säger Redman., Men så vitt Redman vet finns det inget ”borrlabb”, så gör så gott du kan. Till exempel kan du förmodligen bättre kontrollera hårdheten av berget genom att ställa in två riggar 50 fot från varandra på samma plats och gräva torra brunnar. Det ger dig ett mer tillförlitligt resultat när det gäller hur de nya och gamla borren fungerar under liknande omständigheter, men det kommer också att kosta dig mycket pengar att göra, och du kommer inte att tjäna några pengar i processen. Så du måste bestämma hur mycket kontroll är värt kostnaden.,
den andra betydelsen av ”kontroll” är i hänvisning till de grupper du studerar — en kontrollgrupp och en behandlingsgrupp. Här betyder kontroll det nuvarande sättet att göra saker (t.ex. den gamla biten) och behandling betyder det nya sättet att göra saker (t. ex. den nya biten). Detta är viktigt för att bedöma resultaten av ditt experiment måste du fråga ” jämfört med vad?”Du börjar inte bara borra med den nya biten och bestämmer” det är bättre.”Du måste jämföra det med en kontrollgrupp-i det här fallet de 15 brunnarna du gräver med den gamla biten, vilket är din baslinje.,
På samma sätt, när du testar ett nytt läkemedel, måste du redogöra för ”placeboeffekten”, där människor blir bättre bara för att de tror att de blir behandlade, så du behandlar din kontrollgrupp exakt samma som behandlingsgruppen, och du letar efter förbättring i behandlingsgruppen i förhållande till kontrollgruppen.
men vilka brunnar eller personer går in i kontrollgruppen och vilka går in i den experimentella gruppen? Och vem kommer in i experimentet i första hand? Det är där randomisering kommer in., För att negera effekterna av variabler som du inte känner till (låt oss säga patientens sömnmönster i en klinisk prövning), tilldelar du slumpmässigt ämnen till kontrollgruppen eller behandlingsgruppen. Med dina par brunnar ovan skulle du slumpmässigt välja, kanske till och med genom att kasta ett mynt, vilket får den nya borren i varje par. Detta är vad Redman kallar ” ta den dolda bias ur experimentet.”Trots allt, om alla friska patienter får behandlingen och sedan blir bättre, har du inte bevisat någonting., Eller om du av misstag borrar 15 av de enklaste att gräva brunnar med den nya biten, vet du inte riktigt om det är bättre.
randomisering (tillsammans med en större provstorlek) gör att du känner dig mer säker på att något resultat du får faktiskt orsakas av den oberoende variabeln av intresse — i pharma — fallet, läkemedlets effekt-och är därför ”generaliserbar bortom experimentet”, enligt Redman.
om sorteringen av deltagare låter som A/B-testning beror det på att de är lika., A / B kan vara ett randomiserat kontrollerat experiment, förutsatt att du har kontrollerat faktorer och randomiserade ämnen, men inte alla randomiserade kontrollerade experiment är A/B-test.
så låt oss sätta ihop allt. I Redmans ord: ”hela tanken är att isolera de oberoende variabler som intresserar dig. Ett randomiserat kontrollerat experiment är ett experiment där du styr för att ta hänsyn till de faktorer du känner till och sedan randomisera för att ta hänsyn till dem du inte gör.”
vilka är de grundläggande stegen i att genomföra ett randomiserat kontrollerat experiment?,
”lämna inte bara experimentell design upp till dataanalytikerna”, säger Redman. Det är viktigt för en chef att känna till och förstå processen så att du bättre kan samarbeta, med dig föra kunskap och erfarenhet med verksamheten och analytikern föra expertis i att samla in och analysera data.
här är de grundläggande stegen:
- Bestäm vad din beroende variabel av intresse är (Kom ihåg att det kan finnas mer än en). I vårt oljebrunnsexempel är det hastigheten eller effektiviteten som du borrar brunnen med.
- Bestäm vad befolkningen av intresse är., Är du intresserad av att förstå om den nya biten fungerar i alla dina brunnar eller bara specifika typer av sådana?
- fråga dig själv, Vad är det vi försöker göra med detta experiment? Vad är nollhypotesen-halmmannen du försöker motbevisa? Vad är den alternativa hypotesen? Din nollhypotes i det här fallet kan vara, ” det finns ingen skillnad mellan de två bitarna.”Din alternativa hypotes kan vara,” den nya borren är snabbare.,”
- tänk igenom alla faktorer som kan förstöra ditt experiment — till exempel om borren är fästa vid olika typer av maskiner eller används i vissa typer av brunnar.
- Skriv upp ett forskningsprotokoll, processen genom vilken experimentet utförs. Hur ska du bygga i kontrollerna? Hur stor av en provstorlek behöver du? Hur ska du välja brunnarna? Hur ska du ställa in randomisering?
- när du har ett protokoll föreslår Redman att du gör ett litet experiment för att testa om processen du har lagt ut kommer att fungera., ”Anledningen till att göra en pilotstudie är att du sannolikt kommer att falla på din A**, och det gör ont mindre när det kallas en pilotstudie,” skämtar han. Med ett experiment som borren en, kan du hoppa över piloten på grund av kostnader och tid som är inblandade i borrning en brunn.
- revidera protokollet baserat på vad du lärde dig i din pilotstudie.
- utför experimentet, följ protokollet så nära du kan.
- analysera resultaten, leta efter både planerade resultat och hålla ögonen öppna för oväntade.,
Efter att du har analyserat resultaten (och sannolikt testat om de är statistiskt signifikanta) sätter du resultaten i praktiken. Det är här gummit träffar vägen, förstås. Vad du hittar i ett laboratorieexperiment kanske inte alltid håller upp i fältet. Som Redman säger, ” du tjänar inte pengar i ett labb. Du tjänar pengar i den verkliga världen. Så flytta ut ur labbet snabbt.”
vilka misstag gör människor när de gör randomiserade kontrollerade experiment?,
Redman säger att ett av de största misstag som företag gör helt enkelt inte gör tillräckligt med experiment – inte bara randomiserade kontrollerade experiment, men ännu mer informella som är mindre kostsamma och tidskrävande. ”Chefer förväntas veta svar. För en chef att säga ,”Jag är inte säker på att jag vet, låt oss göra ett experiment,” kräver en viss mängd förfining och förståelse för hur man kör dessa saker.”Men utan experiment kan du inte vara säker på att dina aningar har rätt.,
även chefer som är villiga att ringa för experiment planerar ofta inte experimentet tillräckligt noggrant. Redman säger att det är viktigt att göra alla steg som beskrivs ovan, men oftare gör cheferna de första stegen — räkna ut variabeln av intresse och kanske befolkningen — och hoppa sedan framåt för att genomföra experimentet. ”De har inte gjort tänkandet”, säger Redman. ”Det ger människor tillbaka till de dopey science-klasserna som de inte tyckte om,” men det gör inte stegen mindre kritiska.,
detta leder till ett annat misstag: du har inte satt tillräckligt många kontroller på plats för att isolera variabeln / variablerna du är intresserad av. Det är lätt att förstöra. Att göra dessa experiment kräver att man vet mycket om experimentell design. Hur exakt isolerar du de faktorer som du försöker studera? Men misslyckas med att göra detta innebär att du kan tillskriva resultaten till fel faktorer.
det sista misstaget Redman påpekar är en lätt att lösa: inte involvera analytikern., ”Många chefer tror att de bara kan kasta data på en Dataforskare”, säger han, men ”varje självrespektiv dataanalytiker vill vara involverad i att skapa experimentet och skriva protokollet.”Och det är bara bra för alla. Ju tidigare i processen du samarbetar, desto mer sannolikt kommer du att kunna vinna på varandras erfarenhet.