Um intelligente Entscheidungen bei der Arbeit treffen zu können, benötigen wir Daten. Woher diese Daten stammen und wie wir sie analysieren, hängt von vielen Faktoren ab — zum Beispiel davon, was wir mit den Ergebnissen anfangen, wie genau wir die Ergebnisse benötigen und wie viel Budget wir haben. Es gibt ein Spektrum von Experimenten, die Manager durchführen können, von schnellen, informellen über Pilotstudien bis hin zu Feldversuchen und Laborforschung., Eines der strukturierteren Experimente ist das randomisierte kontrollierte Experiment.
Um besser zu verstehen, was ein randomisiertes kontrolliertes Experiment ist und wie Unternehmen sie verwenden, sprach ich mit Tom Redman, Autor von Data Driven: Profiting from Your Most Important Business Asset. Er berät Unternehmen auch bei ihren Daten-und Datenqualitätsprogrammen.
Was ist ein randomisiertes kontrolliertes Experiment?,
Wenn Menschen den Begriff hören, denken sie am häufigsten an klinische Studien, bei denen eine Gruppe behandelt wird und eine andere ein Placebo, aber Pharmaunternehmen und Mediziner sind nicht die einzigen, die diese Art von Experimenten verwenden. Alle Arten von Unternehmen können diese Experimente durchführen, und sie müssen nicht teuer oder zeitaufwendig sein — sie müssen nur „kontrolliert“ werden und ein Element der „Randomisierung“ enthalten.“
beginnen wir mit dem Wort experiment. „Ein Experiment ist eine geplante Aktivität, deren Zweck es ist, etwas über die Welt zu lernen“, erklärt Redman., Er gibt das Beispiel von Zweijährigen, die ständig Experimente machen: „Sie denken ‘‘ Wenn ich schreie,wird Mama rennen.“Sie sammeln Daten über die Welt, und obwohl sie nicht kontrolliert wird, tun sie dies gezielt.“
Hier ist ein geschäftsbezogeneres Beispiel. Angenommen, Sie bohren Ölquellen und haben einen neuen Bohrer, der von einem Programm künstlicher Intelligenz betrieben wird, das den Druck und die Geschwindigkeit anpasst, mit der Sie den Bohrer drehen., Sie möchten wissen, wie dieses neue, teurere Bit mit dem Bit verglichen wird, das Sie gerade verwenden, also führen Sie ein Experiment durch, in dem Sie Ihren vorhandenen Bohrer mit dem neuen vergleichen. Sie wählen 30 Brunnen und bohren 15 von ihnen mit dem alten Bit und 15 mit dem neuen. Das ist Ihr Experiment, und Ihre Interessensvariable könnte sein, wie effizient Sie den Brunnen gebohrt haben.
Beachten Sie, dass die Anzahl der Brunnen hier im Vergleich zu einem Experiment, bei dem Sie beispielsweise 1.000 potenziellen Kunden eine neue Marketingkampagne zeigen, ziemlich gering ist., Je größer Ihre Stichprobengröße, desto wahrscheinlicher werden Sie Ergebnisse haben, die statistisch signifikant sind. Sie müssen aber auch realistisch über die Kosten Ihres Experiments sein, und da es Millionen von Dollar kostet, einen Ölbrunnen zu bohren, werden Sie dieses Experiment wahrscheinlich auf einer kleineren Anzahl von Brunnen durchführen.
In einem Experiment wird die interessierende Variable Ihre abhängige Variable genannt (beachten Sie, dass Sie möglicherweise mehrere abhängige Variablen haben, aber der Einfachheit halber beziehe ich mich hier auf eine abhängige Variable)., Es gibt aber auch viele unabhängige Variablen-Faktoren, von denen Sie vermuten, dass sie sich auf Ihre abhängige Variable auswirken. „Normalerweise versuchen Sie in einem Experiment, etwas über eine oder höchstens einige unabhängige Variablen zu lernen, aber viele andere Faktoren können im Weg stehen“, sagt Redman. Sie möchten wissen, welcher Bohrer besser ist, aber andere Faktoren, wie die Größe des Brunnens, seine Tiefe und was Sie graben, beeinflussen auch, wie effizient Sie den Brunnen bohren und erschweren Ihre Bewertung des neuen Bohrers., In ähnlicher Weise gibt es in einer klinischen Studie viele andere Faktoren, wie das Alter der Patienten, den allgemeinen Gesundheitszustand, die Trainingsregime und den Blutdruck, die es schwierig machen können zu sehen, ob die Ergebnisse des Experiments wirklich dem Medikament zugeschrieben werden können im Gegensatz zu einem anderen Faktor.
Hier kommt das Wort „kontrolliert“ ins Spiel. Dieser Begriff kann verwirrend sein, da Statistiker damit mehr als ein Konzept beschreiben. Wie Redman scherzt: „Überlassen Sie es den Statistikern, ein vollkommen einfaches Konzept zu verschleiern!,“Die erste Bedeutung besteht darin,“ den Einfluss einer (oder einiger) Variablen zu isolieren“, erklärt Redman. „Kontrolliert“ bedeutet in diesem Sinne, Einschränkungen einzuführen, damit bestimmte Variablen das Ergebnis Ihres Experiments nicht beeinflussen. In einer klinischen Medikamentenstudie könnten Sie also befürchten, dass die Ernährung der Teilnehmer beeinflusst, ob das Medikament wirksam ist. Sie „kontrollieren“ dafür, indem Sie alle Patienten für die Dauer des Experiments auf die gleiche Diät setzen., In ähnlicher Weise möchten Sie im Bohrexperiment möglicherweise sicher sein, dass Sie die „erwartete Härte des Gesteins“ berücksichtigen, sodass Sie 15 Bohrungen erstellen können, je nachdem, wie schwierig das Bohren sein wird. Das würde für die erwartete Härte steuern. Sie können auch sicherstellen, dass Sie Bohrgeräte und Besatzungen verwenden, um die Auswirkungen dieser Faktoren auf das Experiment zu kontrollieren.
Viele randomisierte kontrollierte Experimente werden in einem Labor durchgeführt, weil“ es einfacher ist, Dinge in einer Laborumgebung zu kontrollieren“, sagt Redman., Aber soweit Redman weiß, gibt es kein „gut bohrendes Labor“, so dass Sie das Beste tun, was Sie können. Zum Beispiel können Sie die Härte des Gesteins wahrscheinlich besser kontrollieren, indem Sie zwei Bohrinseln im Abstand von 50 Fuß an derselben Stelle aufstellen und trockene Brunnen graben. Das gibt Ihnen ein zuverlässigeres Ergebnis in Bezug auf die Leistung der neuen und alten Bohrer unter ähnlichen Umständen, aber es kostet Sie auch viel Geld und Sie werden dabei kein Geld verdienen. Sie müssen also entscheiden, wie viel Kontrolle die Kosten wert ist.,
Die zweite Bedeutung von „Kontrolle“ bezieht sich auf die Gruppen, die Sie studieren — eine Kontrollgruppe und eine Behandlungsgruppe. Hier bedeutet Kontrolle die aktuelle Art, Dinge zu tun (z. B. das alte Bit) und Behandlung die neue Art, Dinge zu tun (z. B. das neue Bit). Dies ist wichtig, denn um die Ergebnisse Ihres Experiments zu beurteilen, müssen Sie fragen: „verglichen mit was?“Sie beginnen nicht einfach mit dem neuen Bit zu bohren und entscheiden, „es ist besser.“Sie müssen es mit einer Kontrollgruppe vergleichen — in diesem Fall die 15 Brunnen, die Sie mit dem alten Bit graben, das ist Ihre Basislinie.,
In ähnlicher Weise müssen Sie beim Testen eines neuen Arzneimittels den „Placebo-Effekt“ berücksichtigen, bei dem die Menschen besser werden, nur weil sie denken, dass sie behandelt werden, sodass Sie Ihre Kontrollgruppe genau so behandeln wie die Behandlungsgruppe, und Sie suchen nach Verbesserungen in der Behandlungsgruppe relativ zur Kontrollgruppe.
Aber welche Brunnen oder Personen gehen in die Kontrollgruppe und welche in die Versuchsgruppe? Und wer kommt überhaupt in das Experiment? Hier kommt Randomisierung ins Spiel., Um die Auswirkungen von Variablen zu negieren, die Ihnen nicht bekannt sind (z. B. das Schlafmuster des Patienten in einer klinischen Studie), weisen Sie der Kontrollgruppe oder Behandlungsgruppe zufällig Probanden zu. Mit Ihren Brunnenpaaren oben würden Sie zufällig auswählen, vielleicht sogar indem Sie eine Münze werfen, die in jedem Paar den neuen Bohrer bekommt. Dies nennt Redman “ die versteckte Voreingenommenheit aus dem Experiment nehmen.“Wenn alle gesunden Patienten die Behandlung erhalten und dann besser werden, haben Sie nichts bewiesen., Oder wenn Sie versehentlich 15 der am einfachsten zu grabenden Brunnen mit dem neuen Bit bohren, wissen Sie nicht wirklich, ob es besser ist.
Durch die Randomisierung (zusammen mit einer größeren Stichprobengröße) fühlen Sie sich sicherer, dass jedes Ergebnis, das Sie erhalten, tatsächlich durch die unabhängige interessierende Variable — im ersten Fall die Wirkung des Arzneimittels — verursacht wird und daher „verallgemeinerbar ist über das Experiment hinaus“, so Redman.
Wenn diese Sortierung von Teilnehmern nach A/B-Tests klingt, liegt das daran, dass sie ähnlich sind., A/B kann ein randomisiertes kontrolliertes Experiment sein, vorausgesetzt, Sie haben Faktoren und randomisierte Probanden kontrolliert, aber nicht alle randomisierten kontrollierten Experimente sind A / B-Tests.
Also lasst uns alles zusammenstellen. In Redmans Worten: „Die ganze Idee ist es, die unabhängigen Variablen zu isolieren, die Sie interessieren. A randomized controlled experiment ist ein experiment, wo Sie, unter Berücksichtigung der Faktoren, die Sie kennen, und dann randomize-Konto für diejenigen, die Sie nicht brauchen.“
Was sind die grundlegenden Schritte bei der Durchführung einer randomisierten kontrollierten experiment?,
„Überlassen Sie das experimentelle Design nicht nur den Datenanalysten“, sagt Redman. Für einen Manager ist es wichtig, den Prozess zu kennen und zu verstehen, damit Sie besser zusammenarbeiten können, wobei Sie das Wissen und die Erfahrung mit dem Unternehmen und dem Analysten einbringen, die das Fachwissen beim Sammeln und Analysieren von Daten einbringen.
Hier sind die grundlegenden Schritte:
- Entscheiden Sie, was Ihre abhängige Variable von Interesse ist (denken Sie daran, dass es möglicherweise mehr als eine gibt). In unserem Ölbrunnenbeispiel ist es die Geschwindigkeit oder Effizienz, mit der Sie den Brunnen bohren.
- Bestimmen Sie, was die Bevölkerung von Interesse ist., Sind Sie daran interessiert zu verstehen, ob das neue Bit in allen Ihren Brunnen funktioniert oder nur in bestimmten Arten von Brunnen?
- Fragen Sie sich, was versuchen wir mit diesem Experiment zu tun? Was ist die Nullhypothese — der Strohmann, den Sie zu widerlegen versuchen? Was ist die alternative Hypothese? Ihre Nullhypothese könnte in diesem Fall lauten: „Es gibt keinen Unterschied zwischen den beiden Bits.“Ihre alternative Hypothese könnte sein:“ Der neue Bohrer ist schneller.,“
- Überlegen Sie sich alle Faktoren, die Ihr Experiment beeinträchtigen könnten — zum Beispiel, wenn die Bohrer an verschiedenen Maschinentypen befestigt sind oder in bestimmten Bohrlochtypen verwendet werden.
- Schreiben Sie ein Forschungsprotokoll auf, den Prozess, mit dem das Experiment durchgeführt wird. Wie werden Sie in den Kontrollen zu bauen? Wie groß von einer Beispielgröße benötigen Sie? Wie werden Sie die Brunnen auswählen? Wie werden Sie Randomisierung einrichten?
- Sobald Sie ein Protokoll haben, schlägt Redman vor, dass Sie ein kleines Experiment durchführen, um zu testen, ob der von Ihnen erstellte Prozess funktioniert., „Der Grund für eine Pilotstudie ist, dass Sie höchstwahrscheinlich auf Ihr a** fallen und es weniger weh tut, wenn es als Pilotstudie bezeichnet wird“, scherzt er. Bei einem Experiment wie dem Bohrer können Sie den Piloten aufgrund der Kosten und der Zeit, die mit dem Bohren eines Brunnens verbunden sind, überspringen.
- Überarbeiten Sie das Protokoll basierend auf dem, was Sie in Ihrer Pilotstudie gelernt haben.
- Führen Sie das Experiment durch und folgen Sie dem Protokoll so genau wie möglich.
- Analysieren Sie die Ergebnisse, suchen Sie nach geplanten Ergebnissen und halten Sie die Augen offen für unerwartete.,
Nachdem Sie die Ergebnisse analysiert haben (und wahrscheinlich getestet haben, ob sie statistisch signifikant sind), setzen Sie die Ergebnisse in die Praxis um. Hier trifft der Gummi natürlich auf die Straße. Was Sie in einem Laborexperiment finden, hält möglicherweise nicht immer auf dem Feld stand. Wie Redman sagt: „Sie verdienen kein Geld in einem Labor. Sie verdienen Geld in der realen Welt. Also schnell raus aus dem Labor.“
Was Fehler machen Menschen, wenn dabei die randomisierte kontrollierte Experimente?,
Redman, sagt einer der größten Fehler, die Unternehmen machen, ist einfach nicht genug Experimente — nicht nur randomisierte, kontrollierte Experimente, sondern noch mehr informelle diejenigen, die weniger kostspielig und Zeit intensiv. „Von den Managern wird erwartet, dass sie Antworten wissen. Damit ein Manager sagt: „Ich bin mir nicht sicher, ob ich es weiß, lass uns ein Experiment machen“, erfordert ein gewisses Maß an Raffinesse und Verständnis dafür, wie man diese Dinge ausführt.“Aber ohne Experimente können Sie nicht wirklich sicher sein, ob Ihre Vermutungen richtig sind.,
Selbst Manager, die bereit sind, zu Experimenten aufzurufen, planen das Experiment oft nicht sorgfältig genug. Redman sagt, es ist wichtig, alle oben beschriebenen Schritte zu tun, aber meistens nicht, Manager tun die ersten paar Schritte — herauszufinden, die Variable von Interesse und vielleicht die Bevölkerung — und dann überspringen Sie vor, um das Experiment durchzuführen. „Sie haben nicht nachgedacht“, sagt Redman. „Es bringt die Leute zurück zu den dopey Science Klassen, die sie nicht mochten,“ aber das macht die Schritte nicht weniger kritisch.,
Dies führt zu einem weiteren Fehler: Sie haben nicht genügend Steuerelemente eingerichtet, um die Variablen zu isolieren, an denen Sie interessiert sind. Es ist leicht zu vermasseln. Um diese Experimente durchzuführen, muss man viel über experimentelles Design wissen. Wie genau isolieren Sie die Faktoren, die Sie untersuchen möchten? Wenn Sie dies jedoch nicht tun, können Sie die Ergebnisse den falschen Faktoren zuordnen.
Der letzte Fehler, auf den Redman hinweist, ist leicht zu lösen: den Analysten nicht einzubeziehen., „Viele Manager denken, dass sie Daten einfach auf einen Datenwissenschaftler werfen können“, sagt er, aber „jeder Datenanalyst mit Selbstachtung möchte an der Einrichtung des Experiments und dem Schreiben des Protokolls beteiligt sein.“Und das ist einfach gut für alle. Je früher Sie dabei zusammenarbeiten, desto wahrscheinlicher können Sie von den Erfahrungen des anderen profitieren.