s cílem, aby se inteligentní rozhodnutí v práci, potřebujeme data. Odkud tato data pocházejí a jak je analyzujeme, záleží na mnoha faktorech — například na tom, co se snažíme dělat s výsledky, jak přesné potřebujeme zjištění a kolik rozpočtu máme. Existuje spektrum experimentů, které mohou manažeři provádět od rychlých, neformálních, pilotních studií, terénních experimentů a laboratorního výzkumu., Jedním z více strukturovaných experimentů je randomizovaný kontrolovaný experiment.
Pro lepší pochopení, co randomizované kontrolované experiment je a jak firmy používají, mluvil jsem s Tomem Redman, autor Data Driven: Těží z Vašich nejdůležitějších Obchodních Aktiv. Radí také organizacím o jejich programech kvality dat a dat.
co je randomizovaný kontrolovaný experiment?,
Když lidé slyší pojem, se nejčastěji myslet na klinických studiích, kde jedna skupina je věnována léčbě a další placebo, ale farmaceutických firem a lékařské vědci nejsou jediní, kteří používají tyto typy experimentů. Všechny druhy podniků mohou tyto experimenty provádět a nutně nemusí být nákladné nebo časově náročné — stačí je „ovládat“ a zahrnout prvek „randomizace“.“
začněme slovem experiment. „Experiment je plánovaná činnost, jejímž účelem je naučit se něco o světě,“ vysvětluje Redman., Dává příklad dvouletých, kteří neustále provádějí experimenty: „myslí si,“ když křičím, máma přijde běhat. Sbírají data o světě, a i když to není kontrolováno, dělají to záměrně.“
zde je další příklad související s obchodem. Řekněme, že jste v podnikání, vrtání ropných vrtů, a máte nový vrták, který je provozován programu umělé inteligence, která upravuje tlak a rychlost, s níž otáčíte trochu., Chcete vědět, jak se tento nový, dražší bit porovnává s bitem, který právě používáte, takže provedete experiment porovnávající stávající vrták s novým. Vyberete 30 studní a vyvrtejte 15 z nich se starým bitem a 15 s novým. To je váš experiment a vaše proměnná zájmu může být, jak efektivně jste vrtali studnu.
všimněte si, že počet studní zde je poměrně malý ve srovnání s experimentem, například, kde ukazujete 1,000 potenciálním zákazníkům novou marketingovou kampaň., Čím větší je vaše velikost vzorku, tím je pravděpodobnější, že budete mít výsledky, které jsou statisticky významné. Ale také musíte být realističtí ohledně nákladů na váš experiment, a vzhledem k tomu, že vrtání ropného vrtu stojí miliony dolarů, pravděpodobně spustíte tento experiment na menším počtu vrtů.
V experimentu, proměnné, se nazývá závislá proměnná (všimněte si, že můžete mít více závislé proměnné, ale pro jednoduchost zde budu odkazovat k jedné závislé proměnné)., Existuje však také spousta nezávislých proměnných-faktory, o kterých máte podezření, že mají vliv na vaši závislou proměnnou. „Obvykle se v experimentu snažíte dozvědět něco o jedné nebo nanejvýš několika nezávislých proměnných, ale mnoho dalších faktorů se může dostat do cesty,“ říká Redman. Chcete vědět, jaké cvičení je lepší, ale jiné faktory, jako je velikost no, jeho hloubku, a to, co budete kopat přes, bude také ovlivnit, jak efektivně vrtat dobře a komplikovat hodnocení nové cvičení., Podobně, v klinické studii, existuje mnoho dalších faktorů, jako jsou pacienti věk, celkový zdravotní stav, cvičení režimů, a krevní tlak, který může dělat to těžké vidět, zda jsou výsledky experimentu může opravdu být přičítáno k léku na rozdíl od některých jiných faktor.
zde přichází slovo „řízené“. Tento termín může být matoucí, protože statistici jej používají k popisu více než jednoho konceptu. Jak vtipkuje Redman, “ nechte to statistikům, aby zamlžili dokonale jednoduchý koncept!,“Prvním významem je“ izolovat dopad jedné (nebo několika) proměnných, “ vysvětluje Redman. „Řízené“ v tomto smyslu znamená zavést omezení, aby určité proměnné neovlivnily výsledek vašeho experimentu. Takže v klinické studii s drogami se můžete obávat, že dieta účastníků ovlivní, zda je lék účinný. Za to „kontrolujete“ tím, že po celou dobu experimentu uvedete všechny pacienty na stejnou dietu., Podobně, v experimentu vrtání, možná budete chtít být jisti, že účet pro „očekávanou tvrdost skály,“ takže můžete vytvořit 15 párů studní na základě toho, jak těžké očekáváte, že bude vrtat. To by mělo vliv na očekávanou tvrdost. Můžete se také ujistit, že používáte vrtací zařízení a posádky pro kontrolu dopadu, který tyto faktory mohou mít na experiment.
mnoho randomizovaných kontrolovaných experimentů se provádí v laboratoři, protože „je snazší ovládat věci v laboratorním prostředí,“ říká Redman., Ale pokud Redman ví, neexistuje žádná „vrtná laboratoř“, takže děláte, co můžete. Například, pravděpodobně můžete lépe kontrolovat tvrdost skály nastavením dvou souprav 50 stop od sebe na stejném místě a kopáním suchých studní. To vám dá více spolehlivé výsledky, pokud jde o jak staré a nové vrtáky provádět za podobných okolností, ale to bude také vás stát hodně peněz, a nebudete dělat žádné peníze v tomto procesu. Takže se musíte rozhodnout, kolik kontroly stojí za cenu.,
druhý význam „kontroly“ odkazuje na skupiny, které studujete — kontrolní skupinu a léčivou skupinu. Zde ovládání znamená současný způsob, jak dělat věci (např., Starý bit) a léčba znamená nový způsob, jak dělat věci (např., nový bit). To je důležité, protože k posouzení výsledků vašeho experimentu se musíte zeptat “ ve srovnání s čím?“Nezačnete jen vrtat s novým kouskem a rozhodnete se „je to lepší.“Musíte to porovnat s kontrolní skupinou — v tomto případě 15 studní, které kopáte se starým bitem, což je vaše základní linie.,
Podobně, když se testuje nový lék, musíte účet pro „placebo efekt“, kde se lidé dostat lepší, jednoduše proto, že si myslí, že léčí, takže si dopřejte své kontrolní skupině stejné jako léčba skupiny, a hledat zlepšení experimentální skupiny oproti kontrolní skupině.
ale které studny nebo lidé jdou do kontrolní skupiny a které jdou do experimentální skupiny? A kdo se dostane do experimentu na prvním místě? Tam přichází randomizace., Chcete-li negovat účinky proměnných, o kterých nevíte (řekněme, že pacientovy spánkové vzorce v klinické studii), náhodně přiřadíte subjekty kontrolní skupině nebo skupině léčby. S výše uvedenými páry studní byste náhodně vybrali, možná i házením mince, která dostane nový vrták v každém páru. To je to, co Redman nazývá “ vyjmutí skryté zaujatosti z experimentu.“Koneckonců, pokud všichni zdraví pacienti dostanou léčbu a pak se zlepší, nic jste neprokázali., Nebo pokud náhodou vyvrtáte 15 nejsnadněji vykopaných studní s novým kouskem, opravdu nevíte, zda je to lepší.
Randomizace (spolu s větší velikostí vzorku), budete se cítit jistější, že jakýkoliv výsledek, dostanete je ve skutečnosti způsobena nezávislé proměnné — v pharma případě, že účinek léku — a proto se „zobecnit nad rámec experimentu“ podle Redman.
Pokud toto třídění účastníků zní jako testování A / B, je to proto, že jsou podobné., A/B může být náhodně kontrolovaný experiment, za předpokladu, že jste kontrolovaných faktorů a randomizovaných subjektů, ale ne všechny randomizované kontrolované experimenty jsou A/B testy.
takže to dáme dohromady. Podle Redmanových slov: „celá myšlenka je izolovat nezávislé proměnné, které Vás zajímají. Randomizované kontrolované experiment je experiment, kde ovládáte na účet pro faktory, víš o tom a pak náhodně na účet pro ty, ne ty.“
Jaké jsou základní kroky při provádění randomizované kontrolované pokusy?,
„nenechávejte experimentální design pouze na analyticích dat,“ říká Redman. Je důležité, aby manažer znát a chápat proces tak, že můžete lépe spolupracovat, s sebou přináší znalosti a zkušenosti s podnikáním a analytik přináší odborné znalosti při shromažďování a analýze údajů.
zde jsou základní kroky:
- rozhodněte se, jaká je vaše závislá proměnná zájmu (nezapomeňte, že může být více než jedna). V našem příkladu ropných vrtů je to rychlost nebo účinnost, se kterou vrtáte studnu.
- určit, co je populace zájmu., Zajímá Vás, zda nový bit funguje ve všech vašich studnách nebo jen v konkrétních typech?
- zeptejte se sami sebe, co se snažíme dělat s tímto experimentem? Jaká je nulová hypotéza-slámový muž, kterého se snažíte vyvrátit? Jaká je alternativní hypotéza? Vaše nulová hypotéza v tomto případě může být: „mezi těmito dvěma bity není žádný rozdíl.“Vaše alternativní hypotéza může být,“ nový vrták je rychlejší.,“
- Myslíte, že přes všechny faktory, které by mohly zkazit váš experiment — například, pokud vrtáky jsou připojeny na různé typy strojů, nebo se používají zejména druhy studní.
- napište výzkumný protokol, proces, kterým se experiment provádí. Jak budete stavět v ovládacích prvcích? Jak velké velikosti vzorku potřebujete? Jak budete vybírat studny? Jak nastavíte randomizaci?
- Jakmile budete mít protokol, Redman navrhuje udělat malý experiment vyzkoušet, zda proces sis vyložil bude fungovat., „Důvodem k provedení pilotní studie je, že s největší pravděpodobností spadnete na vaše a**, a bolí to méně, když se tomu říká pilotní studie,“ vtipkuje. S experimentem, jako je vrták jeden, můžete přeskočit pilota z důvodu nákladů a času zapojených do vrtání studny.
- revidujte protokol na základě toho, co jste se naučili ve své pilotní studii.
- proveďte experiment a postupujte podle protokolu co nejblíže.
- analyzujte výsledky, hledejte jak plánované výsledky, tak i oči otevřené pro neočekávané.,
Poté, co jste analyzovali výsledky (a pravděpodobně testovány, zda jsou statisticky významné) můžete dát výsledky do praxe. To je místo, kde guma narazí na silnici, samozřejmě. To, co najdete v laboratorním experimentu, nemusí vždy vydržet v terénu. Jak říká Redman, “ v laboratoři nevyděláváte peníze. Vyděláváte peníze v reálném světě. Tak rychle Vypadni z laboratoře.“
jaké chyby dělají lidé při randomizovaných kontrolovaných experimentech?,
Redman říká, že jednou z největších chyb, které společnosti dělají, je prostě nedělat dostatek experimentů — nejen randomizované kontrolované experimenty, ale ještě neformálnější, které jsou méně nákladné a časově náročné. „Očekává se, že manažeři budou znát odpovědi. Pro manažera říci, ‚Nejsem si jistý, vím, pojďme udělat experiment,‘ vyžaduje určité množství propracovanosti a pochopení toho, jak spustit tyto věci.“Ale bez experimentů si nemůžete být jisti, že vaše předtuchy mají pravdu.,
dokonce i manažeři, kteří jsou ochotni volat po experimentech, často neplánují experiment dostatečně pečlivě. Redman říká, že je důležité dělat všechny kroky uvedené výše, ale více často než ne, manažeři udělat prvních pár kroků — zjistit, proměnné a snad populace — a pak přeskočte k provádění experimentu. „Nemysleli na to,“ říká Redman. „Přivádí lidi zpět k těm pitomým vědeckým třídám, které se jim nelíbily,“ ale to neznamená, že kroky jsou méně kritické.,
to vede k další chybě: nemáte dostatek ovládacích prvků k izolaci proměnné(proměnných), které Vás zajímají. Je snadné to pokazit. Provádění těchto experimentů vyžaduje vědět hodně o experimentálním designu. Jak přesně izolujete faktory, které se snažíte studovat? Ale pokud to neuděláte, znamená to, že výsledky můžete připsat špatným faktorům.
Poslední chyba, kterou Redman zdůrazňuje, je snadné vyřešit: nezahrnuje analytika., „Mnoho manažerů si myslí, že mohou data hodit na datového vědce,“ říká, ale „každý seberealizující datový analytik bude chtít být zapojen do nastavení experimentu a psaní protokolu.“A to je dobré pro všechny. Čím dříve v procesu budete spolupracovat, tím větší je pravděpodobnost, že budete moci získat ze zkušeností navzájem.