jotta voit tehdä viisaita päätöksiä työssä, tarvitsemme tiedot. Se, mistä tieto tulee ja miten analysoimme sitä, riippuu monista tekijöistä — esimerkiksi siitä, mitä yritämme tehdä tuloksilla, kuinka tarkkoja tuloksia tarvitsemme ja kuinka paljon budjettia meillä on. On olemassa erilaisia kokeiluja, joita johtajat voivat tehdä nopeista, epävirallisista, pilottitutkimuksista, kenttäkokeista ja laboratoriotutkimuksista., Yksi jäsennellyimmistä kokeista on satunnaistettu kontrolloitu kokeilu.
Jotta ymmärtää paremmin, mitä satunnaistettu kontrolloitu koe on ja miten yritykset käyttävät niitä, puhuin Tom Redman, kirjoittaja Tietojen Ajaa: Hyötyvät Teidän tärkein Yrityksen Voimavara. Hän myös neuvoo järjestöjä niiden tietojen ja laadukkaita ohjelmia.
Mikä on satunnaistettu kontrolloitu koe?,
Kun ihmiset kuulevat aikavälillä, he usein ajattelevat kliinisissä tutkimuksissa, joissa yksi ryhmä, annetaan hoitoa ja toinen lumelääkettä, mutta lääkeyritykset ja lääketieteen tutkijat eivät ole ainoita, jotka käyttävät tällaisia kokeiluja. Kaikenlaiset yritykset voivat suorittaa näitä kokeiluja, ja niiden ei välttämättä tarvitse olla kalliita tai aikaa vieviä — ne vain täytyy ”ohjata” ja sisällyttää osa ”satunnaistaminen.”
aloitetaan sanakokeilusta. ”Kokeilu on suunniteltua toimintaa, jonka tarkoitus on oppia jotain maailmasta”, Redman selittää., Hän antaa esimerkin kaksivuotiaista, jotka tekevät jatkuvasti kokeita: ”he ajattelevat:’ jos huudan, äiti tulee juoksemaan. He keräävät tietoa maailmasta, ja vaikka sitä ei valvota, he tekevät sen määrätietoisesti.”
Here ’ s a more business-related example. Sanotaan, että olet liiketoiminnan poraus öljylähteitä, ja sinulla on uusi poranterä, joka liikennöi tekoäly ohjelma, joka säätää paine-ja nopeus, jolla olet kääntämällä hieman., Haluat tietää, miten tämä uusi, kalliimpi vähän verrata vähän käytät tällä hetkellä, joten voit tehdä kokeilun vertaamalla nykyistä poranterä uudella. Valitset 30 kaivoa ja poraat niistä 15 vanhaa ja 15 uutta. Se on kokeilusi, ja kiinnostuksesi muuttuja voi olla kuinka tehokkaasti porasit kaivon.
Huomaa, että määrä kaivoja täällä on melko pieni verrattuna kokeilu, esimerkiksi, missä olet osoittaa 1,000 potentiaaliset asiakkaat uusi markkinointikampanja., Mitä isompi otoskoko, sitä todennäköisemmin tulokset ovat tilastollisesti merkittäviä. Mutta sinun täytyy myös olla realistinen, kustannukset kokeilun, ja kun otetaan huomioon, että se maksaa miljoonia dollareita porata öljyä hyvin, olet todennäköisesti suorittaa tämän kokeen pienempi määrä kaivoja.
Vuonna kokeilu, kiinnostavaa muuttujaa kutsutaan sinun riippuva muuttuja (huomaa, että sinulla voi olla useita riippuvaisia muuttujia, mutta yksinkertaisuuden vuoksi tässä voin viitata yksi riippuva muuttuja)., Mutta on myös paljon riippumattomia muuttujia-tekijät epäilet on vaikutusta riippuvainen muuttuja. ”Yleensä kokeilu, yrität oppia jotain yksi, tai korkeintaan muutama, riippumattomia muuttujia, mutta monet muut tekijät voivat saada tavalla”, sanoo Redman. Haluatko tietää, mitä pora on parempi, mutta muut tekijät, kuten koko hyvin, sen syvyys, ja mitä olet kaivaa läpi, vaikuttaa myös, kuinka tehokkaasti porata hyvin ja vaikeuttaa oman arvioinnin uusi pora., Vastaavasti kliinisessä tutkimuksessa, on olemassa paljon muita tekijöitä, kuten potilaan ikä, yleinen terveys, liikunta hoito, ja verenpaine, että voi olla vaikea nähdä, onko kokeen tulokset voi todella johtua lääkkeen toisin kuin jotkut muut tekijä.
tästä tulee sana ”kontrolloitu”. Termi voi olla hämmentävä, koska tilastotieteilijät käyttävät sitä kuvaamaan useampaa kuin yhtä käsitettä. Kuten Redman vitsailee, ” jätä se tilastotieteilijöille obfuscate täysin yksinkertainen käsite!,”Ensimmäinen merkitys on” eristää yhden (tai muutaman) muuttujan vaikutus”, selittää Redman. ”Hallittu” tarkoittaa tässä mielessä rajoitusten asettamista, jotta tietyt muuttujat eivät vaikuttaisi kokeen tulokseen. Kliinisessä lääketutkimuksessa voi siis olla huolissaan siitä, että osallistujien ruokavalio vaikuttaa siihen, onko lääkitys tehokas. Voit ”hallita” tätä laittamalla kaikki potilaat samalle ruokavaliolle kokeen ajaksi., Samoin poraus kokeilu, sinun kannattaa olla varma, että olet tilin ”odotettavissa kovuus rock”, joten voit luoda 15 paria wells perusteella, kuinka vaikea odottaa ne saa porata. Se hillitsisi odotettua kovuutta. Voit myös varmistaa, että käytät Porauslaitteet ja miehistön valvoa vaikutusta näiden tekijöiden voi olla kokeiluun.
Monet satunnaistetut kontrolloidut kokeet tehdään laboratoriossa, koska ”se on helpompi hallita asioita laboratoriossa”, sanoo Redman., Redmanin mukaan porauslaboratoriota ei ole, joten teet parhaasi. Esimerkiksi, voit luultavasti parempi ohjaus kovuus rock perustamalla kaksi lautat 50 metrin välein samassa paikassa ja kaivaa kuiva kaivoja. Joka antaa sinulle enemmän luotettavaa tulosta sen suhteen, miten uusi ja vanha poranterät suorittaa samoissa olosuhteissa, mutta se myös maksaa paljon rahaa, ja et tee mitään rahaa tässä prosessissa. Joten sinun täytyy päättää, kuinka paljon valvonta on hintansa arvoista.,
”kontrollin” toinen merkitys viittaa tutkimiisi ryhmiin — kontrolliryhmään ja hoitoryhmään. Täällä ohjaus tarkoittaa nykyistä tapaa tehdä asioita (esim.vanha bitti) ja hoito tarkoittaa uutta tapaa tehdä asioita (esim. Uusi bitti). Tämä on tärkeää, koska arvioida tuloksia oman kokeen, sinun täytyy kysyä ” verrattuna mihin?”Et vain aloita poraus uuden vähän ja päättää” se on parempi.”Sinun täytyy verrata sitä vastaan ohjaus-ryhmä — tässä tapauksessa 15 wells kaivat vanhan bit, joka on teidän lähtötilanteessa.,
Vastaavasti, kun testaus uusi lääke, sinun täytyy huomioon, että ”plasebo vaikutus”, jossa ihmiset saavat paremmin yksinkertaisesti, koska he ajattelevat, he saavat hoitoa, joten sinun hoitoon ohjaus ryhmä täsmälleen sama kuin hoito ryhmä, ja etsiä parannusta hoidon ryhmässä verrattuna kontrolliryhmään.
Mutta joka kaivoja tai ihmiset menevät ohjaus-ryhmä ja jotka menevät osaksi kokeellinen ryhmä? Kuka kokeiluun ylipäätään pääsee? Siihen satunnaistaminen tulee., Voit kumota vaikutukset muuttujia, että olet tietämätön (sanotaan potilaan unirytmiä kliinisessä tutkimuksessa), voit satunnaisesti määrittää aiheita kontrolliryhmään tai tutkimusryhmässä. Kanssa paria wells edellä, olisit sattumanvaraisesti, ehkä jopa tossing kolikon, joka saa uuden poraa kunkin parin. Tätä Redman kutsuu ” piilevän puolueellisuuden poistamiseksi kokeilusta.”Loppujen lopuksi, jos kaikki terveet potilaat saavat hoitoa ja sitten saada paremmin, et ole todistanut mitään., Tai jos vahingossa poraa 15 helpointa kaivoa uudella pätkällä, ei oikein tiedä, onko se parempi.
Satunnaistaminen (yhdessä suuremman otoksen koko) tekee sinusta tuntuu enemmän luottavainen, että tulos saat on itse aiheuttanut riippumaton muuttuja korko — ja pharma tapauksessa, vaikutus lääkkeen, ja siksi on ”generalizable kuin kokeilu,” mukaan Redman.
Jos tämä osallistujien lajittelu kuulostaa A / B-testaukselta, se johtuu siitä, että ne ovat samanlaisia., A/B voi olla satunnaistettu kontrolloitu koe, olettaen, että sinulla on kontrolloituja tekijöitä ja satunnaistettuja koehenkilöitä, mutta kaikki satunnaistetut kontrolloidut kokeet eivät ole A / B-testejä.
joten laitetaan kaikki yhteen. Redmanin sanoin: ”koko ajatuksena on eristää itsenäiset muuttujat, jotka kiinnostavat. Satunnaistettu kontrolloitu koe on kokeilu, jossa voit hallita tilille tekijät olet tietää ja sitten satunnaista huomioon niille, et.”
Mitä ovat perus vaiheita suoritettaessa satunnaistettu kontrolloitu koe?,
”älä jätä kokeellista suunnittelua data-analyytikoiden varaan”, Redman sanoo. Se on tärkeää, että johtaja tietää ja ymmärtää prosessia niin, että voit paremmin tehdä yhteistyötä, tuot tietoa ja kokemusta liiketoiminnan ja analyytikko tuo osaamista keräämällä ja analysoimalla tietoja.
Tässä ovat perusvaiheet:
- Päättää, mitä riippuva muuttuja korko on (muista, että siellä saattaa olla enemmän kuin yksi). Meidän öljy hyvin esimerkki, se on nopeus tai tehokkuus, jolla poraat hyvin.
- määritä, mikä on kiinnostavan väestön määrä., Oletko kiinnostunut ymmärtämään, toimiiko Uusi bitti kaikissa kaivoissa vai vain tietyntyyppisissä?
- kysy itseltäsi, mitä tällä kokeilulla yritetään tehdä? Mikä on nollahypoteesi-se olkimies, jota yrität kumota? Mikä on vaihtoehtoinen hypoteesi? Nollahypoteesi tässä tapauksessa voi olla: ”ei ole eroa kahden bittiä.”Vaihtoehtohypoteesi voi olla”, Uusi porausbitti on nopeampi.,”
- Ajatella läpi kaikki tekijät, jotka voivat pilata kokeilla — esimerkiksi, jos poranterät on kiinnitetty erilaisia koneita tai käytetään erityisesti tyyppisiä kaivoja.
- Kirjoita tutkimusprotokolla, prosessi, jolla kokeilu toteutetaan. Miten aiot rakentaa ohjaimiin? Kuinka ison näytteen tarvitset? Miten aiot valita kaivot? Miten järjestät satunnaistamisen?
- Kun sinulla on protokolla, Redman ehdottaa voit tehdä pienimuotoinen kokeilu testata, onko prosessi olet säädettyihin toimii., ”Syy pilottitutkimukseen on se, että todennäköisesti putoaa a**: n päälle, ja se sattuu vähemmän, kun sitä kutsutaan pilottitutkimukseksi”, hän vitsailee. Drill bit one-kokeilun avulla voit jättää pilotin väliin kaivon poraamiseen liittyvien kustannusten ja ajan vuoksi.
- tarkistaa protokollaa sen perusteella, mitä olet oppinut pilottitutkimuksessasi.
- suorita kokeilu noudattaen protokollaa mahdollisimman tarkasti.
- analysoi tulokset, Etsi sekä suunniteltuja tuloksia että Pidä silmät auki yllättäville.,
Kun olet analysoinut tuloksia (ja todennäköisesti testataan, onko niissä tilastollisesti merkitseviä) laitat tuloksia käytännössä. Tässä kohtaa kumi tietysti osuu tielle. Se, mitä laboratoriokokeesta löytyy, ei välttämättä aina pysy kentällä. Kuten Redman sanoo, ” labrassa ei tienata. Tienaat rahaa oikeassa maailmassa. Poistukaa labrasta nopeasti.”
mitä virheitä ihmiset tekevät satunnaistetuissa kontrolloiduissa kokeissa?,
Redman, sanoo yksi suurimmista virheistä, että yritykset tekevät ei yksinkertaisesti ole tehnyt riittävästi kokeiluja — ei vain satunnaistettuja kontrolloituja kokeita, mutta vielä enemmän epävirallisia ne, jotka ovat vähemmän kallista ja aikaa intensiivinen. ”Johtajien odotetaan tietävän vastaukset. Managerin sanoa, ’en ole varma, en tiedä, kokeillaan,’ vaatii tietyn määrän hienostuneisuutta ja ymmärrystä siitä, miten ajaa näitä asioita.”Mutta ilman kokeita, et voi todella olla varma, että aavistuksesi ovat oikeassa.,
kokeisiin halukkaat johtajatkaan eivät useinkaan suunnittele kokeilua riittävän tarkasti. Redman sanoi, että se on tärkeää tehdä kaikki edellä kuvatut vaiheet, mutta useammin kuin ei, johtajat tehdä alkuperäisen muutaman askeleen — mietitään kiinnostavaa muuttujaa ja ehkä väestö — ja sitten siirtyä eteenpäin suorittaa kokeen. ”He eivät ole tehneet sitä ajattelua”, Redman sanoo. ”Se tuo ihmiset takaisin niille typerä tiede luokat he eivät kuten,” mutta se ei tee vaiheet vähemmän kriittinen.,
Tämä johtaa toinen virhe: Sinulla ei ole tarpeeksi valvonnan eristää muuttuja(t) olet kiinnostunut. Se on helppo sotkea. Näiden kokeiden tekeminen vaatii paljon tietoa kokeellisesta suunnittelusta. Miten tarkalleen eristät ne tekijät, joita yrität tutkia? Mutta jos et tee tätä, voit syyttää tuloksia vääristä tekijöistä.
Redmanin mainitsema viimeinen virhe on helppo ratkaista: siihen ei liity analyytikkoa., ”Monet johtajat ajattelevat, että he voivat vain heittää dataa data scientist”, hän sanoo, mutta ”jokainen itseään kunnioittava tiedot analyytikko haluavat olla mukana perustamassa kokeilla ja kirjoittaa pöytäkirjan.”Ja se on vain hyväksi kaikille. Mitä nopeammin teet yhteistyötä, sitä todennäköisemmin voit hyötyä toistemme kokemuksista.