for at kunne træffe smarte beslutninger på arbejdet har vi brug for data. Hvor disse data kommer fra, og hvordan vi analyserer det afhænger af mange faktorer — for eksempel hvad vi forsøger at gøre med resultaterne, hvor nøjagtige vi har brug for resultaterne, og hvor meget af et budget vi har. Der er et spektrum af eksperimenter, som ledere kan gøre fra hurtige, uformelle, pilotundersøgelser, felteksperimenter og laboratorieforskning., Et af de mere strukturerede eksperimenter er det randomiserede kontrollerede eksperiment.
for bedre at forstå, hvad et randomiseret kontrolleret eksperiment er, og hvordan virksomheder bruger dem, talte jeg med Tom Redman, forfatter af Data Driven: profiterer af dit vigtigste Forretningsaktiv. Han rådgiver også organisationer om deres data-og datakvalitetsprogrammer.
Hvad er et randomiseret kontrolleret eksperiment?,
Når folk hører udtrykket, de oftest tænker på kliniske forsøg, hvor den ene gruppe får en behandling, og en anden placebo, men medicinalvirksomheder og medicinske videnskabsmænd er ikke de eneste, der bruger disse typer af eksperimenter. ALLE slags virksomheder kan udføre disse eksperimenter, og de behøver nødvendigvis ikke at være dyre eller tidskrævende — de skal bare “kontrolleres” og indeholde et element af “randomisering.”
lad os starte med ordet eksperiment. “Et eksperiment er en planlagt aktivitet, hvis formål er at lære noget om verden,” forklarer Redman., Han giver eksemplet på toårige, der konstant kører eksperimenter: “de tror, ‘hvis jeg skriger, vil mor komme løbende.’De indsamler data om verden, og selvom det ikke kontrolleres, gør de det målrettet.”
Her er et mere forretningsrelateret eksempel. Lad os sige, at du er i færd med at bore oliebrønde, og du har en ny borekrone, der drives af et kunstigt intelligensprogram, der justerer det tryk og den hastighed, hvormed du drejer biten., Du vil gerne vide, hvordan denne nye, dyrere bit sammenligner med den bit, du bruger i øjeblikket, så du udfører et eksperiment, der sammenligner din eksisterende Bor med den nye. Du vælger 30 brønde og borer 15 af dem med det gamle bit og 15 med det nye. Det er dit eksperiment, og din variabel af interesse kan være, hvor effektivt du borede brønden.
Bemærk, at antallet af brønde her er temmelig lille sammenlignet med et eksperiment, for eksempel, hvor du viser 1.000 potentielle kunder en ny marketingkampagne., Jo større din prøvestørrelse er, desto mere sandsynligt har du resultater, der er statistisk signifikante. Men du skal også være realistisk om omkostningerne ved dit eksperiment, og da det koster millioner af dollars at bore en oliebrønd, vil du sandsynligvis køre dette eksperiment på et mindre antal brønde.
i et eksperiment kaldes variablen af interesse din afhængige variabel (bemærk at du måske har flere afhængige variabler, men for enkelhedens skyld henviser jeg til en afhængig variabel)., Men der er også masser af uafhængige variabler — faktorer, du har mistanke om, har indflydelse på din afhængige variabel. “Normalt i et eksperiment forsøger du at lære noget om en eller højst nogle få uafhængige variabler, men mange andre faktorer kan komme i vejen,” siger Redman. Du vil vide, hvilken øvelse der er bedre, men andre faktorer, såsom brøndens størrelse, dens dybde og hvad du graver igennem, vil også påvirke, hvor effektivt du borer brønden og komplicerer din evaluering af den nye øvelse., Tilsvarende er der i et klinisk forsøg mange andre faktorer, såsom patienters alder, generelle helbred, træningsregimer og blodtryk, der kan gøre det svært at se, om resultaterne af eksperimentet virkelig kan tilskrives lægemidlet i modsætning til en anden faktor.
det er her ordet “kontrolleret” kommer ind. Dette udtryk kan være forvirrende, fordi statistikere bruger det til at beskrive mere end et koncept. Som Redman vittigheder, ” overlade det til statistikerne at tilsløre et helt simpelt koncept!,”Den første betydning er at” isolere virkningen af en (eller nogle få) variabler, ” forklarer Redman. “Kontrolleret” betyder i denne forstand at sætte begrænsninger på plads, så visse variabler ikke påvirker resultatet af dit eksperiment. Så i et klinisk lægemiddelforsøg kan du være bekymret for, at deltagernes kost vil påvirke, om medicinen er effektiv. Du “kontrollerer” for dette ved at sætte alle patienterne på den samme diæt i eksperimentets varighed., På samme måde kan du i boreeksperimentet være sikker på, at du tager højde for den “forventede hårdhed af klippen”, så du kan oprette 15 Par brønde baseret på hvor svært du forventer, at de vil være at bore. Det ville styre for den forventede hårdhed. Du kan også sørge for, at du bruger boreudstyr og besætninger til at kontrollere for den indflydelse, disse faktorer kan have på eksperimentet.
mange randomiserede kontrollerede eksperimenter udføres i et laboratorium, fordi “det er lettere at kontrollere ting i en laboratorieindstilling,” siger Redman., Men så vidt Redman ved, er der ikke noget “brøndboringslaboratorium”, så du gør det bedste, du kan. For eksempel kan du sandsynligvis bedre kontrollere klippens hårdhed ved at oprette to rigge 50 meter fra hinanden på samme sted og grave tørre brønde. Det vil give dig et mere pålideligt resultat med hensyn til, hvordan de nye og gamle bor fungerer under lignende omstændigheder, men det vil også koste dig en masse penge at gøre, og du vil ikke tjene nogen penge i processen. Så du er nødt til at beslutte, hvor meget kontrol er prisen værd.,
den anden betydning af “kontrol” henviser til de grupper, du studerer — en kontrolgruppe og en behandlingsgruppe. Her betyder kontrol den aktuelle måde at gøre ting på (f.den gamle bit) og behandling betyder den nye måde at gøre ting på (f. den nye bit). Dette er vigtigt, for at bedømme resultaterne af dit eksperiment, skal du spørge “sammenlignet med hvad?”Du begynder ikke bare at bore med den nye bit og beslutte “det er bedre.”Du skal sammenligne det med en kontrolgruppe-i dette tilfælde de 15 brønde, du graver med den gamle bit, som er din baseline.,på samme måde skal du, når du tester et nyt lægemiddel, tage højde for “placebo-effekten”, hvor folk bliver bedre, simpelthen fordi de tror, de bliver behandlet, så du behandler din kontrolgruppe nøjagtigt det samme som behandlingsgruppen, og du ser efter forbedring i behandlingsgruppen i forhold til kontrolgruppen.
men hvilke brønde eller personer går ind i kontrolgruppen, og hvilke går ind i eksperimentgruppen? Og hvem kommer ind i eksperimentet i første omgang? Det er her randomisering kommer ind., For at negere virkningerne af variabler, som du ikke er opmærksom på (lad os sige patientens søvnmønstre i et klinisk forsøg), tildeler du tilfældigt forsøgspersoner til kontrolgruppen eller behandlingsgruppen. Med dine par brønde ovenfor ville du tilfældigt vælge, måske endda ved at kaste en mønt, som får den nye bor i hvert par. Dette er, hvad Redman kalder ” at tage den skjulte bias ud af eksperimentet.”Når alt kommer til alt, hvis alle de sunde patienter får behandlingen og derefter bliver bedre, har du ikke bevist noget., Eller hvis du ved et uheld borer 15 af de letteste at grave brønde med den nye bit, ved du ikke rigtig, om det er bedre.
randomisering (sammen med en større prøvestørrelse) får dig til at føle dig mere sikker på, at ethvert resultat, du får, faktisk skyldes den uafhængige variabel af interesse — i pharma — sagen, lægemidlets virkning-og derfor er “generaliserbar ud over eksperimentet”, ifølge Redman.
hvis denne sortering af deltagere lyder som A / B-test, skyldes det, at de er ens., A/B kan være et randomiseret kontrolleret eksperiment, forudsat at du har kontrollerede faktorer og randomiserede emner, men ikke alle randomiserede kontrollerede eksperimenter er A / B-test.
så lad os sætte det hele sammen. I Redmans ord: “hele ideen er at isolere de uafhængige variabler, der interesserer dig. En randomiseret kontrolleret eksperiment er et forsøg, hvor du styrer at tage højde for de faktorer, du kender og derefter randomisere til regnskab for dem, du ikke.”
Hvad er de grundlæggende trin i at gennemføre et randomiseret kontrolleret eksperiment?,
“Forlad ikke bare eksperimentelt design op til dataanalytikerne,” siger Redman. Det er vigtigt for en leder at kende og forstå processen, så du bedre kan samarbejde, hvor du bringer viden og erfaring med virksomheden og analytikeren, der bringer ekspertisen i indsamling og analyse af data.
Her er de grundlæggende trin:
- Bestem, hvad din afhængige variabel af interesse er (husk, at der muligvis er mere end en). I vores oliebrøndeksempel er det den hastighed eller effektivitet, som du borer brønden med.
- Bestem, hvad befolkningen af interesse er., Er du interesseret i at forstå, om den nye bit fungerer i alle dine brønde eller bare specifikke typer af dem?
- spørg dig selv, Hvad er det, vi forsøger at gøre med dette eksperiment? Hvad er nullhypotesen-stråmanden, du forsøger at modbevise? Hvad er den alternative hypotese? Din nulhypotese i dette tilfælde kan være, “der er ingen forskel mellem de to bits.”Din alternative hypotese kan være,” den nye borekrone er hurtigere.,”
- tænk igennem alle de faktorer, der kan ødelægge dit eksperiment — for eksempel hvis borene er fastgjort til forskellige typer maskiner eller bruges i bestemte typer brønde.
- Skriv en forskningsprotokol, den proces, hvormed eksperimentet udføres. Hvordan vil du bygge i kontrollerne? Hvor stor af en prøvestørrelse har du brug for? Hvordan vil du vælge brøndene? Hvordan vil du oprette randomisering?
- når du har en protokol, foreslår Redman, at du udfører et lille eksperiment for at teste, om den proces, du har lagt ud, vil fungere., “Grunden til at lave en pilotundersøgelse er, at du sandsynligvis vil falde på din a**, og det gør ondt mindre, når det hedder en pilotundersøgelse,” spøger han. Med et eksperiment som borekronen kan du springe piloten over på grund af omkostningerne og tiden, der er involveret i at bore en brønd.
- revidere protokollen baseret på det, du lærte i din pilotundersøgelse.
- Udfør eksperimentet, følg protokollen så tæt som muligt.
- analyser resultaterne, leder efter både planlagte resultater og holder øjnene åbne for uventede.,
Når du har analyseret resultaterne (og sandsynligvis testet, om de er statistisk signifikante), sætter du resultaterne i praksis. Det er her gummiet rammer vejen, selvfølgelig. Hvad du finder i et laboratorieeksperiment kan ikke altid holde op i marken. Som Redman siger, ” du tjener ikke penge i et laboratorium. Du tjener penge i den virkelige verden. Så gå hurtigt ud af laboratoriet.”
hvilke fejl gør folk, når de udfører randomiserede kontrollerede eksperimenter?,
Redman siger, at en af de største fejl, som virksomheder begår, simpelthen ikke gør nok eksperimenter — ikke kun randomiserede kontrollerede eksperimenter, men endnu mere uformelle, der er billigere og tidskrævende. “Ledere forventes at vide svar. For en leder at sige ,’Jeg er ikke sikker på, at jeg ved det, lad os lave et eksperiment,’ kræver en vis grad af raffinement og forståelse af, hvordan man kører disse ting.”Men uden eksperimenter kan du ikke rigtig være sikker på, at dine fornemmelser har ret.,
selv ledere, der er villige til at opfordre til eksperimenter, planlægger ofte ikke eksperimentet omhyggeligt nok. Redman siger, at det er vigtigt at gøre alle de trin, der er beskrevet ovenfor, men oftere end ikke, ledere gør de første par trin — at finde ud af variablen af interesse og måske befolkningen — og derefter springe videre til at gennemføre eksperimentet. “De har ikke tænkt,” siger Redman. “Det bringer folk tilbage til de dumme videnskabsklasser, de ikke kunne lide,” men det gør ikke trinene mindre kritiske.,
dette fører til en anden fejl: du har ikke sat nok kontroller på plads til at isolere de(n) variabel (r), du er interesseret i. Det er nemt at ødelægge. At udføre disse eksperimenter kræver at vide meget om eksperimentelt design. Hvordan isolerer du de faktorer, du forsøger at studere? Men undlader at gøre dette betyder, at du kan tilskrive resultaterne til de forkerte faktorer.
den sidste fejl, Redman påpeger, er let at løse: ikke involverer analytikeren., “Mange ledere tror, at de bare kan smide data på en dataforsker, “siger han, men” enhver selvrespektende dataanalytiker vil være involveret i at oprette eksperimentet og skrive protokollen.”Og det er bare godt for alle. Jo før i processen du samarbejder, jo mere sandsynligt vil du være i stand til at få fra hinandens erfaringer.