annak érdekében, hogy okos döntéseket a munkahelyen, szükségünk van adatokra. Az, hogy honnan származnak ezek az adatok, és hogyan elemezzük, sok tényezőtől függ — például attól, hogy mit akarunk kezdeni az eredményekkel, mennyire pontosak a megállapítások, és mennyi költségvetésünk van. Van egy spektrum a kísérletek, hogy a vezetők tehetünk a gyors, informális is, kísérleti tanulmányok, szántóföldi kísérletek, laboratóriumi kutatás., Az egyik strukturáltabb kísérlet a randomizált, kontrollált kísérlet.
ahhoz, hogy jobban megértsük, mi a randomizált, kontrollált kísérlet, és hogyan használják a vállalkozások, beszéltem Tom Redman, a szerző az adatok vezérelt: profitál a legfontosabb üzleti eszköz. Azt is tanácsolja a szervezeteknek az adat-és adatminőségi programok.
mi a randomizált, kontrollált kísérlet?,
amikor az emberek meghallják a kifejezést, leggyakrabban a klinikai vizsgálatokra gondolnak, ahol az egyik csoport kezelést kap, a másik pedig placebót, de a gyógyszeripari vállalatok és az orvostudósok nem az egyetlenek, akik ilyen típusú kísérleteket alkalmaznak. Mindenféle vállalkozások végezhetik ezeket a kísérleteket, és szükségképpen nem kell költséges vagy időigényes — csak meg kell” ellenőrzött”, és tartalmaz egy eleme a ” randomizáció.”
kezdjük a kísérlet szóval. “A kísérlet egy tervezett tevékenység, amelynek célja, hogy megtudjon valamit a világról” – magyarázza Redman., Példáját adja a kétéveseknek, akik folyamatosan kísérleteznek: “azt gondolják,” ha sikítok, anya futni fog. Adatokat gyűjtenek a világról , és bár nem ellenőrzik, szándékosan csinálják.”
itt egy üzleti vonatkozású példa. Tegyük fel, hogy olajkutak fúrásával foglalkozik, és van egy új fúrófej, amelyet egy mesterséges intelligencia program működtet, amely beállítja a nyomást és a sebességet, amellyel megfordítja a bitet., Szeretné tudni, hogy ez az új, drágább bit összehasonlítja a jelenleg használt bitet, így kísérletet végez a meglévő fúrófej összehasonlításával az új fúróval. 30 kutat választasz, és 15-öt fúrsz a régi bittel, 15-öt pedig az újval. Ez a kísérleted, és a változó érdeklődésed lehet, hogy milyen hatékonyan fúrtad a kutat.
vegye figyelembe, hogy a kutak száma itt elég kicsi egy kísérlethez képest, például ahol 1000 potenciális ügyfelet mutat be egy új marketing kampány., Minél nagyobb a minta mérete,annál valószínűbb, hogy statisztikailag szignifikáns eredményeket kap. De reálisnak kell lennie a kísérlet költségeivel kapcsolatban is, és mivel több millió dollárba kerül egy olajkút fúrása, valószínűleg kisebb számú kutakon hajtja végre ezt a kísérletet.
egy kísérletben az érdekes változót függő változónak nevezzük (vegye figyelembe, hogy lehet, hogy több függő változója van, de az egyszerűség kedvéért itt egy függő változóra utalok)., De vannak még sok független változók-tényezők gyanítja, hogy hatással van a függő változó. “Általában egy kísérletben próbálsz valamit megtudni egy, vagy legfeljebb néhány független változóról, de sok más tényező is útba kerülhet” – mondja Redman. Tudni szeretné, melyik fúró a jobb, de más tényezők, mint például a kút mérete, mélysége, valamint az, hogy mit ássz át, szintén befolyásolják a kút fúrását, és megnehezítik az új fúró értékelését., Hasonlóképpen, egy klinikai vizsgálatban, van egy csomó más tényezők, mint például a betegek életkora, általános egészségi állapot, edzésprogramok, és a vérnyomás, hogy megnehezítheti, hogy az eredmények a kísérlet valóban tulajdonítható, hogy a gyógyszer, szemben néhány más tényező.
Ez az, ahol a “vezérelt” szó jön be. Ez a kifejezés zavaró lehet, mert a statisztikusok egynél több fogalom leírására használják. Ahogy Redman viccelődik, ” hagyja a statisztikusoknak, hogy eltakarják a tökéletesen egyszerű koncepciót!,”Az első jelentés az, hogy” elkülönítsük egy (vagy néhány) változó hatását ” – magyarázza Redman. “Ellenőrzött” ebben az értelemben azt jelenti, hogy korlátozásokat vezetnek be, hogy bizonyos változók ne befolyásolják a kísérlet eredményét. Tehát egy klinikai gyógyszerkísérletben aggódhat, hogy a résztvevők étrendje befolyásolja-e a gyógyszer hatékonyságát. Ön “ellenőrzi” ezt azáltal, hogy az összes beteget ugyanazon étrendre helyezi a kísérlet időtartama alatt., Hasonlóképpen, a fúrási kísérletben, érdemes biztos lehet benne, hogy figyelembe veszi a “szikla várható keménységét”, így létrehozhat 15 pár kút annak alapján, hogy milyen nehéz lesz fúrni. Ez szabályozná a várható keménységet. Azt is győződjön meg arról, hogy használja a fúró berendezések és a személyzet, hogy ellenőrizzék a hatás e tényezők lehetnek a kísérlet.
sok randomizált, kontrollált kísérletet végeznek egy laborban, mert “könnyebb ellenőrizni a dolgokat laboratóriumi körülmények között” – mondja Redman., De amennyire Redman tudja, nincs “kútfúró labor”, így mindent megtesz, amit csak tud. Például, akkor valószínűleg jobban ellenőrzik a keménység a szikla beállításával két fúrótornyok 50 láb egymástól ugyanazon a helyen, és ásni száraz kutak. Ez megbízhatóbb eredményt ad arra vonatkozóan, hogy az új és a régi fúrófejek hogyan működnek hasonló körülmények között, de sok pénzbe is kerül, és nem fog pénzt keresni a folyamat során. Tehát el kell döntenie, hogy mennyi ellenőrzést ér a költség.,
a “kontroll” második jelentése a vizsgált csoportokra utal — egy kontrollcsoportra és egy kezelési csoportra. Itt a vezérlés a dolgok jelenlegi módját jelenti (például a régi bitet), a kezelés pedig a dolgok új módját jelenti (például az új bitet). Ez azért fontos, mert a kísérlet eredményeinek megítéléséhez meg kell kérdeznie: “mihez képest?”Nem csak elkezd fúrni az új bit, és úgy dönt,” ez jobb.”Össze kell hasonlítania egy kontrollcsoporttal — ebben az esetben a 15 kutat, amelyet a régi bittel ás, ami az alapvonal.,
Hasonlóképpen, egy új gyógyszer tesztelésekor figyelembe kell venni a “placebo-hatást”, ahol az emberek egyszerűen azért válnak jobbá, mert úgy gondolják, hogy kezelik őket, így pontosan ugyanúgy kezeli a kontrollcsoportot, mint a kezelési csoportot, és a kezelési csoportban javulást keres a kontrollcsoporthoz képest.
de melyik kutak vagy emberek mennek be a kontrollcsoportba, és melyik megy a kísérleti csoportba? És ki jut be a kísérletbe? Itt jön a véletlenszerűség., Tagadja a hatását a változók hogy tudatában (mondjuk beteg alvási szokások egy klinikai vizsgálatban), véletlenszerűen rendel érintetteket, hogy a kontroll csoport, vagy csoportban. A fenti pár kutakkal véletlenszerűen választanál, talán még egy érme dobásával is, amely minden párban megkapja az új fúrót. Redman ezt hívja ” a rejtett elfogultság kivétele a kísérletből.”Végül is, ha minden egészséges beteg megkapja a kezelést, majd jobb lesz, akkor nem bizonyított semmit., Vagy ha véletlenül fúrja az új bittel a legkönnyebben ásható kutak 15-ét, akkor nem igazán tudja, hogy jobb-e.
a randomizáció (egy nagyobb mintamérettel együtt) magabiztosabbá teszi, hogy az Ön által kapott eredményt valójában a független érdekes változó okozza — a gyógyszer esetében a gyógyszer hatása—, ezért Redman szerint “általánosítható a kísérleten túl”.
Ha ez a válogatás a résztvevők hangzik, mint a/B tesztelés, ez azért van, mert hasonlóak., A / B lehet randomizált, kontrollált kísérlet, feltételezve, hogy kontrollált faktorok és randomizált alanyok, de nem minden randomizált, kontrollált kísérlet A / B teszt.
tehát tegyük össze az egészet. Redman szavaival: “az egész ötlet az, hogy elkülönítsük az Önt érdeklő független változókat. Egy randomizált, kontrollált kísérlet kísérlet, ahol te irányítod, hogy figyelembe a tényezők tud majd véletlenszerű figyelembe azokat nem.”
mik azok az alapvető lépések végzése, randomizált, kontrollált kísérlet?,
“ne hagyja csak a kísérleti tervezést az adatelemzőkre” – mondja Redman. Fontos, hogy az igazgató tudni megérteni a folyamatot, hogy jobban együttműködjenek, magával hozza a tudás, tapasztalatok az üzleti, illetve az elemző hozza a szakértelem gyűjtése, valamint elemzi az adatokat.
itt vannak az alapvető lépések:
- döntse el, mi a függő változó az érdeklődés (ne feledje, lehet, hogy egynél több). Az olajkút példánkban ez a sebesség vagy hatékonyság, amellyel fúrja a kútot.
- határozza meg, hogy mi az érdeklődő népesség., Érdekli annak megértése, hogy az új bit minden kútban működik-e, vagy csak bizonyos típusú?
- kérdezd meg magadtól, mi ez próbálunk csinálni ezt a kísérletet? Mi a nullhipotézis — a szalmaember, akit meg akarsz cáfolni? Mi az alternatív hipotézis? A null hipotézis ebben az esetben lehet, “nincs különbség a két Bit között.”Az alternatív hipotézis lehet,” az új fúrófej gyorsabb.,”
- gondolja át az összes olyan tényezőt, amely elronthatja a kísérletet — például ha a fúrófejek különböző típusú gépekhez vannak csatlakoztatva, vagy bizonyos típusú kutakban használják.
- írjon fel egy kutatási protokollt, azt a folyamatot, amellyel a kísérletet elvégzik. Hogyan fogsz építeni a kezelőszervek? Milyen nagy a minta mérete van szüksége? Hogyan fogja kiválasztani a kutakat? Hogy akarod beállítani a randomizációt?
- miután van egy protokollja, Redman azt javasolja, hogy végezzen egy kis méretű kísérletet annak tesztelésére, hogy az Ön által meghatározott folyamat működni fog-e., “A kísérleti tanulmány elvégzésének oka az, hogy valószínűleg az a * * – ra esik, és kevésbé fáj, ha kísérleti tanulmánynak hívják” – viccelődik. Egy olyan kísérlet, mint a fúrófej egy, akkor hagyja ki a pilóta, mert a költségek és az idő részt fúrás egy jól.
- felül kell vizsgálni a protokoll alapján, amit tanult a kísérleti tanulmány.
- végezze el a kísérletet, a protokollt követve, amennyire csak lehet.
- elemezze az eredményeket, keresve mind a tervezett eredményeket,mind a váratlan eseményeket nyitva tartva.,
miután elemezte az eredményeket (és valószínűleg megvizsgálta, hogy statisztikailag szignifikánsak-e), az eredményeket a gyakorlatba helyezte. Ez az, ahol a gumi eléri az utat, természetesen. Amit egy laboratóriumi kísérletben talál, nem mindig áll fenn a területen. Ahogy Redman mondja: “nem keresel pénzt egy laborban. Pénzt keresel a Való Világban. Szóval gyorsan tűnjön el a laborból.”
milyen hibákat követnek el az emberek randomizált, kontrollált kísérletek során?,
Redman szerint az egyik legnagyobb hiba, amelyet a vállalatok elkövetnek, egyszerűen nem végez elegendő kísérletet — nem csak randomizált, ellenőrzött kísérleteket, hanem még informálisabb kísérleteket is, amelyek kevésbé költségesek és időigényesek. “A vezetők várhatóan tudják a válaszokat. Ahhoz, hogy egy menedzser azt mondja: “Nem vagyok biztos benne, hogy tudom, csináljunk egy kísérletet”, bizonyos fokú kifinomultságot és megértést igényel, hogyan kell ezeket a dolgokat futtatni.”De kísérletek nélkül nem lehet biztos abban, hogy a megérzéseid helyesek.,
még azok a vezetők is, akik hajlandóak kísérleteket kérni, gyakran nem tervezik eléggé a kísérletet. Redman azt mondja, fontos, hogy minden lépést a fent vázolt, de még gyakoribb, mint nem, a vezetők, az első néhány lépésben megpróbáljuk kitalálni, hogy a változó kamat talán a lakosság—, majd ugorjunk kell elvégezni a kísérletet. “Még nem gondolkodtak” – mondja Redman. “Ez visszahozza az embereket azokhoz a hülye tudományos osztályokhoz, amelyek nem tetszettek, de ez nem teszi kevésbé kritikussá a lépéseket.,
Ez egy másik hibához vezet: nem állított be elegendő vezérlőt az érdeklődő változó(k) elkülönítéséhez. Könnyű elrontani. Ezeknek a kísérleteknek a elvégzéséhez sokat kell tudni a kísérleti tervezésről. Pontosan hogyan izolálja azokat a tényezőket, amelyeket tanulmányozni próbál? De ennek elmulasztása azt jelenti, hogy az eredményeket rossz tényezőknek tulajdoníthatja.
Az utolsó hiba, amelyet Redman rámutat, könnyű megoldani: az elemző bevonása nélkül., “Sok vezető úgy gondolja, hogy csak az adatokat dobhatják egy adattudósra “-mondja, de ” minden öntudatos adatelemző részt akar venni a kísérlet létrehozásában és a protokoll megírásában.”És ez mindenkinek jó. Minél hamarabb együttműködik a folyamatban, annál valószínűbb, hogy nyerhet egymás tapasztalataiból.