aby podejmować mądre decyzje w pracy, potrzebujemy danych. To, skąd pochodzą te dane i jak je analizujemy, zależy od wielu czynników-na przykład od tego, co staramy się zrobić z wynikami, jak dokładne muszą być wyniki i jak duży mamy budżet. Istnieje spektrum eksperymentów, które menedżerowie mogą wykonywać od szybkich, nieformalnych, po badania pilotażowe, eksperymenty polowe i badania laboratoryjne., Jednym z bardziej ustrukturyzowanych eksperymentów jest randomizowany kontrolowany eksperyment.
aby lepiej zrozumieć, czym jest randomizowany kontrolowany eksperyment i jak firmy z nich korzystają, rozmawiałem z Tomem Redmanem, autorem książki Data Driven: Profiting from Your Most Important business Asset. Doradza również organizacjom w zakresie ich programów dotyczących danych i jakości danych.
Co to jest randomizowany kontrolowany eksperyment?,
Kiedy ludzie słyszą ten termin, najczęściej myślą o badaniach klinicznych, w których jedna grupa otrzymuje leczenie, a druga placebo, ale firmy farmaceutyczne i naukowcy medyczni nie są jedynymi stosującymi tego typu eksperymenty. Wszelkiego rodzaju firmy mogą przeprowadzać te eksperymenty, a one niekoniecznie muszą być kosztowne lub czasochłonne — po prostu muszą być ” kontrolowane „i zawierać element” randomizacji.”
Zacznijmy od słowa eksperyment. „Eksperyment to zaplanowane działanie, którego celem jest poznanie świata”, wyjaśnia Redman., Podaje przykład dwulatków, którzy nieustannie przeprowadzają eksperymenty: „myślą :” jeśli krzyczę, mama przybiegnie.”Zbierają dane o świecie i choć nie jest on kontrolowany, robią to celowo.”
oto przykład bardziej biznesowy. Załóżmy, że zajmujesz się wierceniem szybów naftowych i masz nowy wiertło, które jest obsługiwane przez program sztucznej inteligencji, który dostosowuje ciśnienie i prędkość, z jaką obracasz wiertło., Chcesz wiedzieć, jak ten nowy, droższy bit porównuje się z bitem, którego obecnie używasz, więc przeprowadzasz eksperyment porównujący istniejący wiertło z nowym. Wybierz 30 studni i wywierć 15 z nich starym wiertłem i 15 z nowym. To Twój eksperyment, a twoją zmienną zainteresowania może być to, jak wydajnie wiercisz studnię.
zauważ, że liczba odwiertów tutaj jest dość mała w porównaniu z eksperymentem, na przykład, gdzie pokazujesz 1000 potencjalnych klientów nową kampanię marketingową., Im większy rozmiar próbki, tym bardziej prawdopodobne, że będziesz miał wyniki, które są istotne statystycznie. Ale musisz również być realistyczny w kwestii kosztów eksperymentu, a biorąc pod uwagę, że wiercenie szybu naftowego kosztuje miliony dolarów, prawdopodobnie przeprowadzisz ten eksperyment na mniejszej liczbie studni.
w eksperymencie zmienna zainteresowania nazywa się zmienną zależną (zauważ, że możesz mieć wiele zmiennych zależnych, ale dla uproszczenia tutaj odniosę się do jednej zmiennej zależnej)., Ale istnieje również wiele zmiennych niezależnych-czynniki, które podejrzewasz, mają wpływ na zmienną zależną. „Zazwyczaj w eksperymencie próbujesz dowiedzieć się czegoś o jednej lub co najwyżej kilku niezależnych zmiennych, ale wiele innych czynników może wejść w drogę”, mówi Redman. Chcesz wiedzieć, które wiertło jest lepsze, ale inne czynniki, takie jak rozmiar studni, jej głębokość i to, przez co przekopujesz, również wpłyną na to, jak wydajnie wiercisz studnię i komplikują ocenę nowego wiertła., Podobnie w badaniu klinicznym istnieje wiele innych czynników, takich jak wiek pacjentów, ogólny stan zdrowia, schematy ćwiczeń i ciśnienie krwi, które mogą utrudnić sprawdzenie, czy wyniki eksperymentu można naprawdę przypisać lekowi, w przeciwieństwie do jakiegoś innego czynnika.
tutaj pojawia się słowo „kontrolowany”. Termin ten może być mylący, ponieważ statystycy używają go do opisania więcej niż jednego pojęcia. Jak żartuje Redman: „Zostaw statystykom zaciemnienie całkowicie prostej koncepcji!,”Pierwszym znaczeniem jest” wyizolowanie wpływu jednej (lub kilku) zmiennych”, wyjaśnia Redman. „Kontrolowane” w tym sensie oznacza wprowadzenie ograniczeń, aby pewne zmienne nie miały wpływu na wynik eksperymentu. Tak więc w badaniu klinicznym leku możesz się martwić, że dieta uczestników wpłynie na to, czy lek jest skuteczny. „Kontrolujesz” to, umieszczając wszystkich pacjentów na tej samej diecie przez czas trwania eksperymentu., Podobnie w eksperymencie wiertniczym możesz mieć pewność, że uwzględniasz „oczekiwaną twardość skały”, więc możesz utworzyć pary 15 studni w oparciu o to, jak trudne będą wiercić. To kontrolowałoby oczekiwaną twardość. Możesz również upewnić się, że używasz sprzętu wiertniczego i załóg, aby kontrolować wpływ tych czynników na eksperyment.
wiele randomizowanych kontrolowanych eksperymentów odbywa się w laboratorium, ponieważ „łatwiej jest kontrolować rzeczy w warunkach laboratoryjnych”, mówi Redman., Ale z tego, co wie Redman, nie ma „laboratorium wiercenia studni”, więc rób, co możesz. Na przykład możesz prawdopodobnie lepiej kontrolować twardość skały, ustawiając dwie platformy oddalone od siebie o 50 stóp w tym samym miejscu i kopając suche studnie. To da Ci bardziej wiarygodny wynik pod względem tego, jak nowe i stare wiertła działają w podobnych okolicznościach, ale będzie to również kosztować dużo pieniędzy, a ty nie zarobisz żadnych pieniędzy w tym procesie. Więc musisz zdecydować, ile kontrolowanie jest warte kosztów.,
drugie Znaczenie słowa „Kontrola” odnosi się do grup, które badasz — grupy kontrolnej i grupy leczonej. Tutaj kontrola oznacza bieżący sposób robienia rzeczy (np. Stary bit), a leczenie oznacza nowy sposób robienia rzeczy (np. nowy bit). Jest to ważne, ponieważ aby ocenić wyniki eksperymentu, trzeba zapytać ” w porównaniu do czego?”Nie zaczynasz wiercić z nowym wiertłem i decydujesz, że jest lepiej.”Musisz porównać to z grupą kontrolną — w tym przypadku, 15 studni, które kopiesz ze starym bitem, który jest twoją linią odniesienia.,
podobnie, testując nowy lek, musisz uwzględnić „efekt placebo”, w którym ludzie stają się lepsi po prostu dlatego, że myślą, że są leczeni, więc traktujesz swoją grupę kontrolną dokładnie tak samo jak grupę leczoną i szukasz poprawy w grupie leczonej w stosunku do grupy kontrolnej.
ale które studnie lub ludzie idą do grupy kontrolnej, a które do grupy eksperymentalnej? A kto w ogóle bierze udział w eksperymencie? I tu pojawia się randomizacja., Aby zanegować skutki zmiennych, których nie jesteś świadomy (powiedzmy wzorce snu pacjenta w badaniu klinicznym), losowo przypisujesz pacjentów do grupy kontrolnej lub grupy leczonej. Z parami studzienek powyżej, można losowo wybrać, może nawet rzucając monetą, która dostaje nowe wiertła w każdej parze. To właśnie Redman nazywa ” wyjęciem ukrytego uprzedzenia z eksperymentu.”W końcu, jeśli wszyscy zdrowi pacjenci otrzymają leczenie, a następnie wyzdrowieją, niczego nie udowodniłeś., Albo jeśli przypadkowo wywiercisz 15 najłatwiejszych do kopania studni nowym wiertłem, nie wiesz, czy jest lepszy.
randomizacja (wraz z większym rozmiarem próbki) sprawia, że czujesz się pewniej, że każdy uzyskany wynik jest rzeczywiście spowodowany niezależną zmienną zainteresowania — w przypadku farmacji, efektem leku — i dlatego jest „uogólnialny poza eksperymentem”, według Redmana.
Jeśli to sortowanie uczestników brzmi jak testowanie A / B, to dlatego, że są podobne., A / B może być randomizowanym kontrolowanym eksperymentem, zakładając, że kontrolowałeś czynniki i randomizowanych uczestników, ale nie wszystkie randomizowane kontrolowane eksperymenty są testami A / B.
więc poskładajmy to wszystko do kupy. W słowach Redmana: „cała idea polega na wyizolowaniu niezależnych zmiennych, które Cię interesują. Randomizowany kontrolowany eksperyment to eksperyment, w którym kontrolujesz, aby uwzględnić czynniki, o których wiesz, a następnie randomizuj, aby uwzględnić te, których nie masz. ”
jakie są podstawowe kroki w prowadzeniu randomizowanego kontrolowanego eksperymentu?,
„nie pozostawiaj eksperymentalnego projektu analitykom danych” – mówi Redman. Ważne jest, aby menedżer znał i rozumiał ten proces, abyś mógł lepiej współpracować, przynosząc wiedzę i doświadczenie z firmą, a analityk dostarczając wiedzę w zakresie gromadzenia i analizowania danych.
oto podstawowe kroki:
- zdecyduj, jaka jest twoja zależna zmienna zainteresowania (pamiętaj, że może być więcej niż jedna). W naszym przykładzie szybu naftowego chodzi o szybkość lub wydajność, z jaką wiercisz studnię.
- , Czy jesteś zainteresowany zrozumieniem, czy nowy bit działa we wszystkich Twoich studniach, czy tylko w określonych typach?
- zadaj sobie pytanie, co próbujemy zrobić z tym eksperymentem? Jaka jest hipoteza zerowa-człowiek ze słomy, który próbujesz obalić? Jaka jest hipoteza alternatywna? Twoja hipoteza zerowa w tym przypadku może być: „nie ma różnicy między tymi dwoma bitami.”Twoja alternatywna hipoteza może być,” nowe wiertło jest szybsze.,”
- przemyśl wszystkie czynniki, które mogą zepsuć twój eksperyment — na przykład, jeśli wiertła są przymocowane do różnych typów maszyn lub są używane w poszczególnych typach studni.
- napisz protokół badawczy, proces, w którym eksperyment zostanie przeprowadzony. Jak zbudujesz kontrolki? Jak duży rozmiar próbki potrzebujesz? Jak wybierzecie studnie? Jak zamierzasz ustawić randomizację?
- gdy już masz protokół, Redman sugeruje przeprowadzenie małego eksperymentu, aby sprawdzić, czy proces, który zaplanowałeś, zadziała., „Powodem do zrobienia badania pilotażowego jest to, że najprawdopodobniej spadniesz na swoje a** , a mniej boli, gdy nazywa się to badaniem pilotażowym” – żartuje. W przypadku eksperymentu takiego jak wiertło, możesz pominąć pilota ze względu na koszt i czas związany z wierceniem studni.
- przeprowadź eksperyment, postępując zgodnie z protokołem tak dokładnie, jak możesz.
- Analizuj wyniki, szukając zarówno planowanych wyników, jak i mając oczy otwarte na nieoczekiwane.,
Po przeanalizowaniu wyników (i prawdopodobnie przetestowaniu, czy są one istotne statystycznie) wdrażasz je w życie. Tutaj oczywiście guma uderza w drogę. To, co znajdziesz w eksperymencie laboratoryjnym, nie zawsze może utrzymać się w terenie. Jak mówi Redman, ” nie zarabiasz pieniędzy w laboratorium. Zarabiasz pieniądze w prawdziwym świecie. Więc szybko wyjdź z laboratorium.”
jakie błędy popełniają ludzie wykonując randomizowane kontrolowane eksperymenty?,
Redman twierdzi, że jednym z największych błędów popełnianych przez firmy jest po prostu niewystarczająca ilość eksperymentów — nie tylko randomizowanych kontrolowanych eksperymentów, ale jeszcze bardziej nieformalnych, które są mniej kosztowne i czasochłonne. „Od menedżerów oczekuje się odpowiedzi. Aby menedżer powiedział: „nie jestem pewien, czy wiem, zróbmy eksperyment”, wymaga pewnej dozy wyrafinowania i zrozumienia, jak prowadzić te rzeczy.”Ale bez eksperymentów nie możesz być pewien, że Twoje przeczucia są słuszne.,
nawet menedżerowie, którzy są gotowi wezwać do eksperymentów często nie planują eksperymentu wystarczająco dokładnie. Redman mówi, że ważne jest, aby wykonać wszystkie kroki opisane powyżej, ale częściej niż nie, menedżerowie zrobić kilka początkowych kroków-dowiedzieć się zmienną zainteresowania i być może populacji — a następnie przejść do prowadzenia eksperymentu. „Nie myśleli” – mówi Redman. „To sprowadza ludzi z powrotem do tych głupich zajęć naukowych, które im się nie podobały,” ale to nie sprawia, że kroki są mniej krytyczne.,
prowadzi to do kolejnego błędu: nie wprowadziłeś wystarczającej liczby kontrolek, aby wyizolować interesujące Cię zmienne. Łatwo to zepsuć. Wykonywanie tych eksperymentów wymaga dużej wiedzy na temat projektowania eksperymentalnego. Jak dokładnie wyizolować czynniki, które próbujesz zbadać? Ale jeśli tego nie zrobisz, możesz przypisać wyniki złym czynnikom.
ostatni błąd, na który Redman zwraca uwagę, jest łatwy do rozwiązania: nie angażowanie analityka., „Wielu menedżerów uważa, że mogą po prostu rzucać danymi w naukowca danych”, mówi, ale ” każdy szanujący się analityk danych będzie chciał być zaangażowany w Konfigurowanie eksperymentu i pisanie protokołu.”I to jest dobre dla wszystkich. Im szybciej nawiążecie współpracę, tym bardziej prawdopodobne jest, że będziecie mogli czerpać korzyści z wzajemnego doświadczenia.