În scopul de a face decizii inteligente la locul de muncă, avem nevoie de date. De unde provin aceste date și cum le analizăm depinde de o mulțime de factori — de exemplu, ce încercăm să facem cu rezultatele, cât de exacte trebuie să fie constatările și cât de mult avem un buget. Există un spectru de experimente pe care managerii le pot face de la cele rapide, informale, la studii pilot, la experimente pe teren și la cercetări de laborator., Unul dintre experimentele mai structurate este experimentul controlat randomizat.pentru a înțelege mai bine ce este un experiment controlat randomizat și cum le folosesc întreprinderile, am vorbit cu Tom Redman, autorul datelor Conduse: profitând de cel mai Important activ de afaceri. De asemenea, el sfătuiește organizațiile cu privire la programele lor de calitate a datelor și a datelor.
ce este un experiment controlat randomizat?,
când oamenii aud termenul, ei cel mai adesea cred că de studii clinice, în cazul în care un grup este dat un tratament și un alt un placebo, dar companiile farmaceutice și oamenii de știință medicale nu sunt singurele care utilizează aceste tipuri de experimente. Toate tipurile de afaceri pot efectua aceste experimente și, în mod necesar, nu trebuie să fie costisitoare sau consumatoare de timp — trebuie doar să fie „controlate” și să includă un element de „randomizare”.să începem cu cuvântul experiment. „Un experiment este o activitate planificată al cărei scop este de a învăța ceva despre lume”, explică Redman., El dă exemplul copiilor de doi ani, care desfășoară în mod constant experimente: „ei cred:” dacă țip, mama va veni să alerge.”Ei colectează date despre lume și, deși nu sunt controlate, o fac în mod intenționat.”
Iată un exemplu mai legat de afaceri. Să presupunem că sunteți în afaceri de foraj sonde de petrol, și aveți un nou burghiu care este operat de un program de inteligență artificială care reglează presiunea și viteza cu care sunteți de cotitură biți., Doriți să știți cum se compară acest bit nou și mai scump cu cel pe care îl utilizați în prezent, astfel încât să efectuați un experiment comparând burghiul existent cu cel nou. Selectați 30 de puțuri și găuriți 15 dintre ele cu bitul vechi și 15 cu noul. Acesta este experimentul dvs., iar variabila dvs. de interes ar putea fi cât de eficient ați forat fântâna.rețineți că numărul de puțuri de aici este destul de mic în comparație cu un experiment, de exemplu, în care arătați 1.000 de clienți potențiali o nouă campanie de marketing., Cu cât dimensiunea eșantionului este mai mare, cu atât este mai probabil să aveți rezultate semnificative din punct de vedere statistic. Dar, de asemenea, trebuie să fii realist cu privire la costul experimentului tău și având în vedere că costă milioane de dolari pentru a fora un puț de petrol, este posibil să rulezi acest experiment pe un număr mai mic de puțuri.într-un experiment, variabila de interes se numește variabila dvs. dependentă (rețineți că este posibil să aveți mai multe variabile dependente, dar din motive de simplitate aici, mă voi referi la o variabilă dependentă)., Dar există, de asemenea, o mulțime de variabile independente — factori suspectați că au un impact asupra variabilei dependente. „De obicei, într-un experiment, încercați să învățați ceva despre una sau cel mult câteva variabile independente, dar mulți alți factori pot intra în cale”, spune Redman. Vrei să știi ce burghiu este mai bun, dar alți factori, cum ar fi dimensiunea puțului, adâncimea acestuia și ceea ce săpați, vor afecta, de asemenea, cât de eficient găuriți puțul și complicați evaluarea noului burghiu., În mod similar, într-un studiu clinic, există o mulțime de alți factori, cum ar fi vârsta pacienților, starea generală de sănătate, regimurile de exerciții fizice și tensiunea arterială, care pot face greu să vedem dacă rezultatele experimentului pot fi atribuite cu adevărat medicamentului, spre deosebire de un alt factor.aici intră cuvântul „controlat”. Acest termen poate fi confuz, deoarece statisticienii îl folosesc pentru a descrie mai multe concepte. După cum glumește Redman, ” lăsați-i pe statisticieni să ascundă un concept Perfect simplu!,”Primul sens este de a „izola impactul uneia (sau a câtorva) variabile”, explică Redman. „Controlat”, în acest sens, înseamnă a pune restricții în loc, astfel încât anumite variabile să nu afecteze rezultatul experimentului tău. Deci, într-un studiu clinic de droguri, s-ar putea să vă faceți griji că dieta participanților va afecta dacă medicamentul este eficient. Tu „control” pentru acest lucru prin punerea tuturor pacienților pe aceeași dietă pe durata experimentului., În mod similar, în experimentul de foraj, ați putea dori să vă asigurați că țineți cont de „duritatea așteptată a rocii”, astfel încât să puteți crea 15 perechi de puțuri în funcție de cât de greu vă așteptați să fie forate. Asta ar controla duritatea așteptată. De asemenea, s-ar putea să vă asigurați că utilizați echipamente de foraj și echipaje pentru a controla impactul pe care acești factori îl pot avea asupra experimentului.multe experimente controlate randomizate se fac într-un laborator, deoarece „este mai ușor să controlezi lucrurile într-un cadru de laborator”, spune Redman., Dar, în măsura în care Redman știe, nu există nici un „laborator bine-foraj,” astfel încât să faceți tot ce poți. De exemplu, puteți, probabil, un control mai bun pentru duritatea rocii prin înființarea a două platforme la 50 de metri distanță în aceeași locație și săparea de puțuri uscate. Care vă va oferi un rezultat mai fiabile în ceea ce privește modul vechi și noi burghie efectua în condiții similare, dar, de asemenea, va costa o mulțime de bani pentru a face, și nu vei face bani în acest proces. Deci, trebuie să decideți cât de mult controlul merită costul.,
al doilea sens al „controlului” se referă la grupurile pe care le studiați — un grup de control și un grup de tratament. Aici controlul înseamnă modul actual de a face lucrurile (de exemplu, bitul vechi) și tratamentul înseamnă noul mod de a face lucrurile (de exemplu, bitul nou). Acest lucru este important deoarece pentru a judeca rezultatele experimentului dvs., trebuie să întrebați ” în comparație cu ce?”Nu începeți doar să forați cu noul bit și să decideți” este mai bine.”Trebuie să o comparați cu un grup de control — în acest caz, cele 15 puțuri pe care le săpați cu bitul vechi, care este linia de bază.,în mod similar, atunci când testați un medicament nou, trebuie să țineți cont de” efectul placebo”, unde oamenii se îmbunătățesc pur și simplu pentru că cred că sunt tratați, deci tratați grupul de control exact la fel ca grupul de tratament și căutați îmbunătățiri în grupul de tratament în raport cu grupul de control.
dar care puțuri sau oameni intră în grupul de control și care intră în grupul experimental? Și cine intră în experiment în primul rând? Aici intervine randomizarea., Pentru a nega efectele variabilelor pe care nu le cunoașteți (să spunem tiparele de somn ale pacientului într-un studiu clinic), atribuiți aleatoriu subiecți grupului de control sau grupului de tratament. Cu perechile de puțuri de mai sus, ați alege la întâmplare, poate chiar aruncând o monedă, care primește noul burghiu în fiecare pereche. Aceasta este ceea ce Redman numește ” scoaterea părtinirii ascunse din experiment.”La urma urmei, dacă toți pacienții sănătoși primesc tratamentul și apoi se îmbunătățesc, nu ați dovedit nimic., Sau dacă găuriți accidental 15 dintre cele mai ușor de săpat puțuri cu noul bit, nu știți cu adevărat dacă este mai bine.
Randomizare (împreună cu un eșantion mai mare) te face să te simți mai încrezător că orice rezultat veți obține este, de fapt, cauzate de variabila independentă de interes — în pharma caz, efectul de droguri și, prin urmare, este „generalizate dincolo de experiment,” în conformitate cu Redman.
dacă această sortare a participanților sună ca o testare A/B, Aceasta se datorează faptului că sunt similare., A / B poate fi un experiment controlat randomizat, presupunând că ați controlat factori și subiecți randomizați, dar nu toate experimentele controlate randomizate sunt teste A/B.
deci, să punem totul împreună. În cuvintele lui Redman: „întreaga idee este de a izola variabilele independente care vă interesează. Un experiment controlat randomizat este un experiment în care controlați pentru a ține cont de factorii pe care îi cunoașteți și apoi randomizați pentru a ține cont de cei pe care nu îi cunoașteți.”
care sunt pașii de bază în efectuarea unui experiment controlat randomizat?,
„nu lăsați doar designul experimental la latitudinea analiștilor de date”, spune Redman. Este important ca un manager să cunoască și să înțeleagă procesul, astfel încât să puteți colabora mai bine, aducând cunoștințele și experiența cu afacerea, iar analistul aducând expertiza în colectarea și analiza datelor.
iată pașii de bază:
- decideți care este variabila dvs. de interes dependentă (amintiți-vă că ar putea fi mai multe). În exemplul nostru de puț de ulei, este viteza sau eficiența cu care găuriți puțul.
- determinați care este populația de interes., Sunteți interesat să înțelegeți dacă noul bit funcționează în toate puțurile dvs. sau doar în anumite tipuri?
- întrebați-vă, ce încercăm să facem cu acest experiment? Care este ipoteza nulă – omul paie pe care încercați să infirme? Care este ipoteza alternativă? Ipoteza ta nulă în acest caz ar putea fi: „nu există nicio diferență între cei doi biți.”Ipoteza ta alternativă ar putea fi,” noul burghiu este mai rapid.,”
- gândiți-vă prin toți factorii care ar putea strica experimentul — de exemplu, în cazul în care burghiele sunt atașate la diferite tipuri de mașini sau sunt utilizate în anumite tipuri de puțuri.
- scrieți un protocol de cercetare, Procesul prin care se realizează experimentul. Cum ai de gând să construiască în controalele? Cât de mare este dimensiunea eșantionului? Cum vei selecta puțurile? Cum ai de gând să înființeze randomizare?
- odată ce aveți un protocol, Redman sugerează să faceți un experiment la scară mică pentru a testa dacă procesul pe care l-ați stabilit va funcționa., „Motivul pentru a face un studiu pilot este că cel mai probabil vei cădea pe a** și doare mai puțin atunci când se numește studiu pilot”, glumește el. Cu un experiment ca burghiu unul, puteți sări peste pilot din cauza costurilor și timpul implicat în foraj un bine.
- revizuiți protocolul pe baza a ceea ce ați învățat în studiul dvs. pilot.
- efectuați experimentul, urmând protocolul cât mai aproape posibil.
- analizați rezultatele, căutând atât rezultatele planificate, cât și păstrarea ochilor deschiși pentru cele neașteptate.,
după ce ați analizat rezultatele (și probabil ați testat dacă acestea sunt semnificative statistic), puneți rezultatele în practică. Acest lucru este în cazul în care cauciucul lovește drumul, desigur. Ceea ce găsiți într-un experiment de laborator poate să nu țină întotdeauna pe teren. După cum spune Redman, ” nu câștigi bani într-un laborator. Faci bani în lumea reală. Așa că ieșiți repede din laborator.”
ce greșeli fac oamenii atunci când fac experimente controlate randomizate?,Redman spune că una dintre cele mai mari greșeli pe care le fac companiile este pur și simplu să nu facă suficiente experimente — nu doar experimente controlate randomizate, ci și altele mai informale, care sunt mai puțin costisitoare și consumatoare de timp. „Managerii sunt așteptați să știe răspunsuri. Pentru un manager de a spune, „nu sunt sigur că știu, hai să facem un experiment,” necesită o anumită cantitate de rafinament și înțelegere a modului de a rula aceste lucruri.”Dar fără experimente, nu poți fi sigur că bănuielile tale au dreptate.,chiar și managerii care sunt dispuși să apeleze la experimente adesea nu planifică experimentul suficient de atent. Redman spune că este important să faceți toți pașii descriși mai sus, dar, de cele mai multe ori, managerii fac primii pași — imaginând variabila de interes și, probabil, populația — și apoi săriți la efectuarea experimentului. „Ei nu au făcut gândirea”, spune Redman. „Îi aduce pe oameni înapoi la acele clase de știință care nu le-au plăcut”, dar asta nu face pașii mai puțin critici.,
Acest lucru duce la o altă greșeală: nu ați pus suficiente controale pentru a izola variabila(variabilele) care vă interesează. E ușor să dai greș. Efectuarea acestor experimente necesită cunoașterea multor lucruri despre designul experimental. Cum anume izolezi factorii pe care încerci să-i studiezi? Dar dacă nu faceți acest lucru înseamnă că puteți atribui rezultatele unor factori greșiți.ultima greșeală pe care Redman o subliniază este una ușor de rezolvat: fără implicarea analistului., „O mulțime de manageri cred că pot arunca doar date la un om de știință de date”, spune el, dar ” fiecare analist de date care se respectă de sine va dori să fie implicat în configurarea experimentului și în scrierea protocolului.”Și asta e bine pentru toată lumea. Cu cât colaborați mai devreme în acest proces, cu atât este mai probabil să puteți câștiga din experiența celuilalt.