om slimme beslissingen te nemen op het werk, hebben we gegevens nodig. Waar die gegevens vandaan komen en hoe we ze analyseren, hangt van veel factoren af-bijvoorbeeld wat we proberen te doen met de resultaten, hoe nauwkeurig we de bevindingen moeten zijn en hoeveel budget we hebben. Er is een spectrum van experimenten die managers kunnen doen van snelle, informele, pilotstudies, veldexperimenten, en laboratoriumonderzoek., Een van de meer gestructureerde experimenten is het gerandomiseerde gecontroleerde experiment.
om beter te begrijpen wat een gerandomiseerd gecontroleerd experiment is en hoe bedrijven ze gebruiken, sprak ik met Tom Redman, auteur van Data Driven: Profiting from Your Most Important Business Asset. Ook adviseert hij organisaties over hun data en data quality programma ‘ s.
Wat is een gerandomiseerd gecontroleerd experiment?,
wanneer mensen de term horen, denken ze meestal aan klinische proeven, waarbij de ene groep een behandeling krijgt en de andere een placebo, maar farmaceutische bedrijven en medische wetenschappers zijn niet de enige die dit soort experimenten gebruiken. Allerlei bedrijven kunnen deze experimenten uit te voeren, en ze hoeven niet per se duur of tijdrovend te zijn — ze hoeven alleen maar te worden “gecontroleerd” en omvatten een element van “randomisatie.”
laten we beginnen met het woord experiment. “Een experiment is een geplande activiteit die tot doel heeft iets over de wereld te leren”, legt Redman uit., Hij geeft het voorbeeld van tweejarigen, die voortdurend experimenten uitvoeren: “ze denken:’ als ik schreeuw, komt mama aanrennen.’Ze verzamelen gegevens over de wereld, en hoewel die niet gecontroleerd wordt, doen ze het doelgericht.”
Hier is een meer business-gerelateerd voorbeeld. Laten we zeggen dat je in de business van het boren van oliebronnen, en je hebt een nieuwe boor die wordt bediend door een kunstmatige intelligentie programma dat de druk en snelheid waarmee je het draaien van het bit aanpast., U wilt weten hoe dit nieuwe, duurdere bit zich verhoudt tot het bit dat u momenteel gebruikt, dus voert u een experiment uit waarbij u uw bestaande boor vergelijkt met de nieuwe. Je selecteert 30 putten en boort er 15 met het oude bit en 15 met het nieuwe. Dat is jouw experiment, en jouw variabele van interesse zou kunnen zijn hoe efficiënt je de put geboord hebt.
merk op dat het aantal wells hier vrij klein is in vergelijking met een experiment, bijvoorbeeld, waarbij je 1.000 potentiële klanten een nieuwe marketingcampagne laat zien., Hoe groter je steekproef, hoe groter de kans dat je resultaten hebt die statistisch significant zijn. Maar je moet ook realistisch zijn over de kosten van je experiment, en gezien het feit dat het miljoenen dollars kost om een oliebron te boren, zul je dit experiment waarschijnlijk op een kleiner aantal putten uitvoeren.
in een experiment wordt de variabele van belang je afhankelijke variabele genoemd (merk op dat je meerdere afhankelijke variabelen kunt hebben, maar voor de eenvoud zal ik hier verwijzen naar één afhankelijke variabele)., Maar er zijn ook veel onafhankelijke variabelen-factoren waarvan je vermoedt dat ze van invloed zijn op je afhankelijke variabele. “Meestal probeer je in een experiment iets te leren over één of hooguit een paar onafhankelijke variabelen, maar veel andere factoren kunnen in de weg staan”, zegt Redman. U wilt weten welke boor beter is, maar andere factoren, zoals de grootte van de put, de diepte en waar u doorheen graaft, zullen ook van invloed zijn op hoe efficiënt u de put boort en bemoeilijken uw evaluatie van de nieuwe boor., Op dezelfde manier zijn er in een klinische proef veel andere factoren, zoals de leeftijd van de patiënten, de algemene gezondheid, de oefeningsregimes en de bloeddruk, die het moeilijk kunnen maken om te zien of de resultaten van het experiment echt aan het medicijn kunnen worden toegeschreven in tegenstelling tot een andere factor.
Dit is waar het woord “gecontroleerd” in komt. Deze term kan verwarrend zijn omdat statistici het gebruiken om meer dan één concept te beschrijven. Zoals Redman grappen, ” laat het aan de statistici om een perfect eenvoudig concept te verdoezelen!,”De eerste betekenis is om” de impact van een (of een paar) variabelen te isoleren”, legt Redman uit. “Gecontroleerd,” in deze zin, betekent het invoeren van beperkingen, zodat bepaalde variabelen geen invloed hebben op de uitkomst van uw experiment. Dus in een klinische drug trial, kunt u zich zorgen maken dat het dieet van de deelnemers zal beïnvloeden of de medicatie effectief is. U “controleert” hiervoor door alle patiënten gedurende de duur van het experiment op hetzelfde dieet te zetten., Evenzo, in het boren experiment, je zou willen er zeker van te zijn dat u rekening houdt met de” verwachte hardheid van de rots, ” dus u kunt 15 paar putten op basis van hoe moeilijk je verwacht dat ze zullen worden om te boren. Dat zou de verwachte hardheid controleren. U kunt er ook voor zorgen dat u boorapparatuur en bemanningen gebruiken om te controleren voor de impact die deze factoren kunnen hebben op het experiment.
veel gerandomiseerde gecontroleerde experimenten worden gedaan in een lab omdat” het gemakkelijker is om dingen te controleren in een laboratorium setting, ” zegt Redman., Maar voor zover Redman Weet, is er geen “goed boorlab”, dus doe je best wat je kunt. U kunt bijvoorbeeld de hardheid van het gesteente beter controleren door twee boorplatforms op 50 meter afstand op dezelfde locatie op te zetten en droge putten te graven. Dat geeft je een betrouwbaarder resultaat in termen van hoe de nieuwe en oude boren presteren onder vergelijkbare omstandigheden, maar het kost je ook veel geld om te doen, en je zult geen geld te verdienen in het proces. Dus je moet beslissen hoeveel controlling de kosten waard is.,
de tweede betekenis van “controle” verwijst naar de groepen die u bestudeert — een controlegroep en een behandelingsgroep. Hier betekent controle de huidige manier van doen (bijvoorbeeld het oude bit) en behandeling betekent de nieuwe manier van doen (bijvoorbeeld het nieuwe bit). Dit is belangrijk omdat om de resultaten van je experiment te beoordelen, je moet vragen ” in vergelijking met wat?”Je begint niet met boren met het nieuwe bit en besluit dat het beter is.”Je moet het vergelijken met een controlegroep — in dit geval, de 15 putten die je aan het graven bent met de oude bit, dat is je basislijn.,
evenzo moet u bij het testen van een nieuw geneesmiddel rekening houden met het “placebo-effect”, waarbij mensen beter worden simpelweg omdat ze denken dat ze behandeld worden, dus u behandelt uw controlegroep precies hetzelfde als de behandelingsgroep, en u zoekt naar verbetering in de behandelingsgroep ten opzichte van de controlegroep.
maar welke putten of mensen gaan naar de controlegroep en welke naar de experimentele groep? En wie doet eigenlijk mee aan het experiment? Daar komt randomisatie bij kijken., Om de effecten te ontkennen van variabelen waarvan u zich niet bewust bent (laten we zeggen het slaappatroon van de patiënt in een klinisch onderzoek), wijst u willekeurig proefpersonen toe aan de controlegroep of de behandelingsgroep. Met je paar putten boven, zou je willekeurig kiezen, misschien zelfs door het gooien van een munt, die de nieuwe boor in elk paar krijgt. Dit is wat Redman noemt ” het nemen van de verborgen vooringenomenheid uit het experiment.”Immers, als alle gezonde patiënten de behandeling krijgen en dan beter worden, heb je niets bewezen., Of als je per ongeluk 15 van de makkelijkst te graven putten boort met het nieuwe bit, Weet je niet echt of het beter is.
randomisatie (samen met een grotere steekproefgrootte) geeft je meer vertrouwen dat elk resultaat dat je krijgt daadwerkelijk wordt veroorzaakt door de onafhankelijke variabele van belang — in het geval van de pharma, het effect van het geneesmiddel — en is daarom “generaliseerbaar buiten het experiment,” volgens Redman.
als deze sortering van deelnemers klinkt als A / B testen, is dat omdat ze vergelijkbaar zijn., A / B kan een gerandomiseerd gecontroleerd experiment zijn, ervan uitgaande dat je factoren en gerandomiseerde proefpersonen hebt gecontroleerd, maar niet alle gerandomiseerde gecontroleerde experimenten zijn A / B-tests.
dus laten we het allemaal samenvoegen. In Redman ‘ s woorden: “het hele idee is om de onafhankelijke variabelen die u interesseren te isoleren. Een gerandomiseerd gecontroleerd experiment is een experiment waarbij je controleert om rekening te houden met de factoren die je kent en vervolgens randomiseert om rekening te houden met degenen die je niet kent.”
Wat zijn de basisstappen in het uitvoeren van een gerandomiseerd gecontroleerd experiment?,
” laat experimenteel ontwerp niet alleen over aan de data-analisten,” zegt Redman. Het is belangrijk voor een manager om het proces te kennen en te begrijpen, zodat u beter kunt samenwerken, waarbij u de kennis en ervaring met het bedrijf en de analist brengt de expertise in het verzamelen en analyseren van gegevens.
Hier zijn de basisstappen:
- bepaal wat uw afhankelijke variabele van belang is (onthoud dat er meer dan één kan zijn). In ons olieputvoorbeeld is het de snelheid of efficiëntie waarmee je de put boort.
- bepaal wat de populatie van belang is., Bent u geïnteresseerd in het begrijpen of de nieuwe bit werkt in al uw putten of alleen specifieke soorten van degenen?
- vraag jezelf af, wat proberen we te doen met dit experiment? Wat is de nulhypothese – de stroman die je probeert te weerleggen? Wat is de alternatieve hypothese? Uw nulhypothese in dit geval zou kunnen zijn, “er is geen verschil tussen de twee bits.”Uw alternatieve hypothese zou kunnen zijn,” de nieuwe boor is sneller.,”
- denk na over alle factoren die uw experiment kunnen bederven-bijvoorbeeld als de boorboren aan verschillende soorten machines zijn bevestigd of in bepaalde soorten putten worden gebruikt.
- Schrijf een onderzoeksprotocol op, het proces waarmee het experiment wordt uitgevoerd. Hoe ga je de besturing inbouwen? Hoe groot van een steekproefgrootte heb je nodig? Hoe ga je de putten selecteren? Hoe ga je randomisatie opzetten?
- zodra je een protocol hebt, stelt Redman voor om een kleinschalig experiment uit te voeren om uit te testen of het proces dat je hebt opgezet zal werken., “De reden om een pilot studie te doen is dat je waarschijnlijk gaat vallen op je a**, en het doet minder pijn als het heet een pilot studie,” grapt hij. Met een experiment zoals de boor een, kunt u de pilot overslaan vanwege de kosten en tijd die nodig zijn bij het boren van een put.
- herzie het protocol op basis van wat u in uw pilotstudie hebt geleerd.
- voer het experiment uit, Volg het protocol zo goed mogelijk.
- analyseer de resultaten, zoek zowel naar geplande resultaten als houd je ogen open voor onverwachte resultaten.,
na analyse van de resultaten (en waarschijnlijk getest of ze statistisch significant zijn) zet u de resultaten in de praktijk. Dit is waar het rubber de weg raakt, natuurlijk. Wat je in een laboratoriumexperiment aantreft, houdt misschien niet altijd stand in het veld. Zoals Redman zegt: “Je verdient geen geld in een lab. Je verdient geld in de echte wereld. Dus ga snel het lab uit.”
welke fouten maken mensen bij het doen van gerandomiseerde gecontroleerde experimenten?,
Redman zegt dat een van de grootste fouten die bedrijven maken is gewoon niet genoeg experimenten te doen — niet alleen gerandomiseerde gecontroleerde experimenten, maar zelfs meer informele die minder kostbaar en tijdintensief zijn. “Van Managers wordt verwacht dat ze antwoorden kennen. Voor een manager om te zeggen, ‘ Ik weet niet zeker of ik het Weet, laten we een experiment doen,’ vereist een bepaalde hoeveelheid verfijning en begrip van hoe deze dingen uit te voeren.”Maar zonder experimenten kun je er niet echt zeker van zijn dat je ingevingen juist zijn.,
zelfs managers die bereid zijn om experimenten op te roepen plannen het experiment vaak niet zorgvuldig genoeg. Redman zegt dat het belangrijk is om alle hierboven beschreven stappen te doen, maar vaker wel dan niet, managers doen de eerste paar stappen — het uitzoeken van de variabele van belang en misschien de bevolking — en sla dan door naar het uitvoeren van het experiment. “Ze hebben nog niet nagedacht”, zegt Redman. “Het brengt mensen terug naar die domme wetenschapslessen die ze niet leuk vonden,” maar dat maakt de stappen niet minder kritisch.,
Dit leidt tot een andere fout: u hebt niet genoeg besturingselementen geplaatst om de variabele(s) waarin u geïnteresseerd bent te isoleren. Het is makkelijk om het te verpesten. Het doen van deze experimenten vereist veel weten over experimenteel ontwerp. Hoe is het precies om de factoren te isoleren die je probeert te bestuderen? Maar als u dit niet doet, kunt u de resultaten toeschrijven aan de verkeerde factoren.
De laatste fout waar Redman op wijst is eenvoudig op te lossen: zonder de analist erbij te betrekken., “Veel managers denken dat ze gewoon data kunnen gooien naar een data scientist, “zegt hij, maar” elke zichzelf respecterende data analist zal willen worden betrokken bij het opzetten van het experiment en het schrijven van het protocol.”En dat is gewoon goed voor iedereen. Hoe eerder je samenwerkt, hoe groter de kans dat je van elkaars ervaring kunt profiteren.