for å ta smarte beslutninger på jobb, vi trenger data. Hvor data kommer fra og hvordan vi analyserer det avhenger av en rekke faktorer, for eksempel, hva vi prøver å gjøre med resultatene, hvor nøyaktig vi trenger funnene til å være, og hvor mye av et budsjett vi har. Det er et spekter av eksperimenter som ledere kan gjøre fra quick, uformelle kjære, å pilotstudier, til-feltet eksperimenter, og å lab forskning., En av de mer strukturert eksperimenter er randomisert og kontrollert eksperiment.
for Å bedre forstå hva en randomisert kontrollert eksperiment er og hvordan bedrifter bruker dem, snakket jeg med Tom Redman, forfatter av datadrevet: Profittere fra Din Viktigste Virksomhet Aktiva. Han råder også organisasjoner på sine data, og data kvalitet programmer.
Hva er en randomisert, kontrollert eksperiment?,
Når folk hører ordet, men som oftest tenker på kliniske studier, hvor en gruppe er gitt en behandling og en annen en placebo, men farmasøytiske selskaper og medisinske forskere er ikke de eneste som bruker disse typer eksperimenter. Alle typer virksomheter kan gjennomføre disse eksperimentene, og de nødvendigvis ikke trenger å være dyrt eller tidkrevende — de trenger bare å bli «styrt» og inneholder et element av «randomisering.»
La oss starte med ordet eksperiment. «Et eksperiment er en planlagt aktivitet som har som formål å lære noe om verden, forklarer Redman., Han gir eksempel på to-åringer, som stadig kjører eksperimenter: «De tenke,» Hvis jeg skrike, mamma vil komme løpende.’De er å samle data om verden, og samtidig som det ikke er kontrollert, de gjør det purposively.»
Her er en mer business-relaterte eksempel. La oss si at du er i business for boring etter olje brønner, og du har en ny drill bit som er operert av et kunstig intelligens program som justerer trykket og hastighet der du er å snu litt., Du ønsker å vite hvordan dette nye, dyrere bit i forhold til den biten du bruker for øyeblikket, så du utføre et eksperiment på å sammenligne din eksisterende boret med den nye. Du velger 30 brønner og bor 15 av dem med den gamle bit og 15 med den nye. Det er et eksperiment, og variable av interesse kan være hvor effektivt du boret brønnen.
Merk at antall brønner her er ganske lite sammenlignet med et eksperiment, for eksempel, der du viser 1,000 potensielle kunder en ny kampanje., Jo større eksempel størrelse, jo mer sannsynlig vil du ha resultater som er statistisk signifikante. Men du må også være realistisk med hensyn til kostnaden av eksperimentet, og gitt at det koster millioner av kroner å bore en oljebrønn, har du sannsynligvis til å kjøre eksperimentet på et mindre antall brønner.
I et eksperiment, den variable av interesse er kalt den avhengige variabelen (merk at du kan ha flere avhengige variabler, men for enkelhets skyld her, vil jeg referere til en avhengig variabel)., Men det er også mange uavhengige variabler — faktorer du mistenker har en innvirkning på den avhengige variabelen. Vanligvis legger i et eksperiment, du prøver å lære noe om en, eller noen få, uavhengige variabler, men en rekke andre faktorer som kan komme i veien,» sier Redman. Ønsker du å vite hvilke drill er bedre, men andre faktorer, som for eksempel størrelsen på godt, sin dybde, og hva du grave i, vil også påvirke hvor effektivt du bor godt og komplisere evaluering av det nye bore., På samme måte, i en klinisk studie, er det en rekke andre faktorer, som pasientens alder, generelle helse, trening regimer, og blodtrykk, som kan gjøre det vanskelig å se om resultatene av eksperimentet kan virkelig være knyttet til stoffet, i motsetning til noen annen faktor.
Dette er hvor ordet «kontrollert» kommer inn. Dette begrepet kan være forvirrende fordi statistikere bruker det til å beskrive mer enn ett konsept. Som Redman vitser, «La det til statistikere å obfuscate en perfekt enkelt konsept!,»Den første meningen er å «isolere effekten av en (eller noen få) variabler, forklarer Redman. «Kontrollert», i denne forstand, betyr å sette restriksjoner på plass, slik at enkelte variabler påvirker ikke utfallet av eksperimentet. Så i en klinisk bedøve prøveversjon, kan du bli bekymret for at deltakernes kosthold vil påvirke om medisinen er effektiv. Du «kontroll» for dette ved å sette alle pasienter på samme diett for varigheten av forsøket., På samme måte, i boring eksperiment, kan du være sikker på at du konto for «forventet hardhet av rock», slik at du kan opprette 15 par av brønner basert på hvor vanskelig du forvente at de vil være å bore. Det ville kontroll for forventet hardhet. Du kan også sørge for at du bruker boring utstyr og mannskaper til å kontrollere for effekten disse faktorene kan ha på eksperimentet.
Mange randomiserte kontrollerte eksperimenter som er gjort i et laboratorium, fordi «det er lettere å styre ting i et laboratorium innstilling, sier Redman., Men så langt som Redman vet, det er ingen «vel-boring lab,» slik du gjør det beste du kan. For eksempel, du kan sannsynligvis bedre kontroll for hardhet av rock ved å sette opp to rigger 50 meter fra hverandre på samme sted og graving tørre brønner. Det vil gi deg et mer pålitelig resultat i form av hvordan nye og gamle drill bits utføre under lignende omstendigheter, men det vil også koste deg mye penger å gjøre, og du ikke vil gjøre noen penger i prosessen. Så må du bestemme hvor mye kontroll er verdt prisen.,
Den andre betydningen av «kontroll» er i referanse til grupper du studerer — en kontrollgruppe og en behandlingsgruppe. Her kontrollerer betyr at dagens måte å gjøre ting på (f.eks., den gamle bit) og behandling betyr at den nye måten å gjøre ting på (f.eks., den nye bit). Dette er viktig fordi å bedømme resultatene av eksperimentet, at du har til å spørre: «i forhold til hva?»Du trenger ikke bare å starte boring med ny bit og bestemmer «det er bedre.»Du har å sammenligne det mot en kontrollgruppe — i dette tilfellet, 15 brønner, må du grave med den gamle bit, som er din baseline.,
på samme måte, når du skal teste et nytt legemiddel, du trenger for å stå for «placebo-effekt», der folk får bedre bare fordi de tror de får behandlet, slik at du behandle kontrollgruppen nøyaktig samme som behandling i gruppe, og du ser for forbedring i behandlingen gruppe i forhold til kontrollgruppen.
Men som brønner eller at folk går inn i kontrollgruppen og som går inn i den eksperimentelle gruppen? Og som kommer inn eksperimentet i første omgang? Det er der randomisering kommer inn., For å motvirke effektene av variabler som du er klar over (la oss si pasientens søvnmønster i en klinisk studie), du tilfeldig tilordne fag til kontrollgruppen eller behandlingsgruppe. Med par av brønner over vil du tilfeldig plukke, kanskje ved å kaste en mynt, som blir den nye bore i hvert par. Dette er hva Redman kaller «å ta den skjulte bias ut av eksperimentet.»Tross alt, hvis alle friske pasienter få behandling og bli bedre, du har ikke bevist noe som helst., Eller hvis du tilfeldigvis bor 15 av de enkleste å grave brønner med ny bit, du vet egentlig ikke om det er bedre.
Randomisering (sammen med et større eksempel størrelse) gjør at du føler deg mer trygg på at alle resultatet du får er faktisk forårsaket av den uavhengige variable av interesse — i pharma tilfelle, det effekten av narkotika, og derfor er «generalizable utover eksperiment,» i henhold til Redman.
Hvis dette sortering av deltakerne høres ut som A/B testing, det er fordi de er like., A/B kan være en randomisert kontrollert eksperiment, forutsatt at du har kontrollert faktorer og randomisert fag, men ikke alle randomiserte kontrollerte eksperimenter er A/B-tester.
Så la oss sette det hele sammen. I Redman ord: «hele ideen er å isolere den uavhengige variabler som er av interesse for deg. En randomisert, kontrollert eksperiment er et eksperiment hvor du styrer til å redegjøre for faktorer som du vet om, og så randomize til å redegjøre for de du ikke trenger.»
Hva er de grunnleggende trinnene i å gjennomføre en randomisert, kontrollert eksperiment?,
«ikke bare la eksperimentell design opp til data analytikere, sier Redman. Det er viktig for en leder å vite og forstå prosessen, slik at du bedre kan samarbeide med deg for å bringe kunnskap og erfaring med virksomheten og analytikeren å bringe kompetanse i å samle inn og analysere data.
Her er de grunnleggende trinnene:
- Bestemme hva din avhengige variabel av interesse er (husk at det kan være mer enn én). I vår olje godt eksempel, det er hastigheten eller effektivitet som du bor godt.
- Avgjøre hva populasjonen er., Er du interessert i å lære mer om den nye bit fungerer i alle brønner eller bare bestemte typer seg?
- Spør deg selv, Hva er det vi prøver å gjøre med dette eksperimentet? Hva er nullhypotesen — det halmstrå du prøver å motbevise? Hva er den alternative hypotesen? Din nullhypotesen i dette tilfelle, kan være, «Det er ingen forskjell mellom de to biter.»Den alternative hypotesen kan være, «Den nye borekronen er raskere.,»
- Tenke gjennom alle de faktorer som kan ødelegge din eksperiment — for eksempel, hvis drill bits er knyttet til forskjellige typer maskiner eller er brukt i bestemte typer brønner.
- Skriv opp et forsknings-protokollen, den prosessen som eksperimentet blir gjennomført. Hvordan har du tenkt til å bygge på kontrollene? Hvor stor utvalgsstørrelse trenger du? Hvordan har du tenkt å velge brønner? Hvordan har du tenkt å sette opp randomisering?
- Når du har en protokoll, Redman foreslår at du gjør en liten skala eksperiment for å teste ut om den prosessen du har lagt ut vil fungere., «Grunnen til å gjøre en pilotstudie er at du mest sannsynlig kommer til å falle på en**, og det gjør vondt mindre når det er kalt en pilotstudie,» han vitser. Med et eksperiment som boret ett, kan du hoppe over piloten på grunn av kostnadene og tiden involvert i boring av en brønn.
- Revidere protokollen, basert på hva du har lært i din pilotstudie.
- Gjennomføre forsøk, etter protokollen så nært som du kan.
- Analyser resultatene, på jakt etter både planlagte resultater og holde øynene åpne for uventede seg.,
Etter at du har analysert resultatene (og sannsynligvis testet om de er statistisk signifikante) du sette resultatene i praksis. Det er der gummi-treff veien, selvfølgelig. Hva finner du i et laboratorium eksperiment kan ikke alltid holde seg i feltet. Som Redman sier, «Du trenger ikke tjene penger i en lab. Du tjene penger i den virkelige verden. Så flytter ut av lab raskt.»
Hva feil folk gjør når du gjør randomiserte kontrollerte eksperimenter?,
Redman sier en av de største feilene som selskaper gjør er rett og slett ikke gjør nok for eksperimenter — ikke bare randomiserte kontrollerte eksperimenter, men enda mer uformell de som er mindre kostbart og tidkrevende. «Ledere forventes å vite svarene. For en manager å si, » jeg er ikke sikker på at jeg vet, la oss gjøre et eksperiment,’ krever en viss mengde av raffinement og forståelse av hvordan å kjøre disse tingene.»Men uten eksperimenter, du kan ikke virkelig være sikker på at dine innskytelser er rett.,
Selv ledere som er villige til å ringe for eksperimenter ofte ikke planlegge eksperiment nøye nok. Redman sier det er viktig å gjøre alle trinnene som er beskrevet ovenfor, men mer ofte enn ikke, ledere gjør de første få skritt — å finne ut av den variable av interesse og kanskje befolkningen — og deretter gå videre til å gjennomføre eksperimentet. «De har ikke gjort den tenker,» sier Redman. «Det bringer folk tilbake til de minsten vitenskap klasser de ikke liker,» men det gjør ikke trinnene noen mindre kritisk.,
Dette fører til en annen feil: Du har ikke satt mange nok kontroller i stedet for å isolere den variable(s) du er interessert i. Det er lett å rote opp. Å gjøre disse eksperimentene krever at man vet mye om eksperimentell design. Nøyaktig hvordan har du isolere faktorer som du prøver å studere? Men ved å unnlate å gjøre dette betyr at du kan tillegge resultatene til feil faktorer.
Den siste feilen Redman peker på en enkel en til å løse: ikke involverer analytiker., «Mange ledere tror de kan bare kaste data på en data vitenskapsmann,» sier han, men «hver selvrespekt data analytiker av dette vil være involvert i å sette opp eksperimentet og skriving av protokoll.»Og det er bare bra for alle. Jo før i prosessen du samarbeide, jo mer sannsynlig at du vil være i stand til å få av hverandres erfaring.