職場でスマートな意思決定を行うためには、データが必要です。 そのデータがどこから来て、どのように分析するかは、結果をどのように処理しようとしているのか、結果がどれだけ正確である必要があるのか、予算がどれくらいあるのかなど、さまざまな要因によって異なります。 管理者が迅速かつ非公式のものから、パイロット研究、フィールド実験、およびラボ研究に行うことができる実験のスペクトルがあります。, より構造化された実験の一つは、無作為化対照実験です。
無作為化対照実験とは何か、そして企業がそれらをどのように使用するかをよりよく理解するために、私は”Data Driven:Profiting from Your Most Important Business Asset”の著者であるTom Redman 彼はまた、組織のデータとデータ品質プログラムについて助言します。
無作為化対照実験とは何ですか？,
この用語を聞くと、あるグループには治療が与えられ、別のグループにはプラセボが与えられる臨床試験が最もよく考えられますが、これらのタイプの実験を使用するのは製薬会社や医学科学者だけではありません。 あらゆる種類の企業がこれらの実験を行うことができ、必然的にコストや時間がかかる必要はありません—彼らは単に”制御”され、”無作為化”の要素を含”
実験という言葉から始めましょう。 “実験とは、世界について何かを学ぶことを目的とした計画された活動です”とRedman氏は説明します。, 彼は常に実験を実行している二歳の例を与えます：”彼らは、私が叫ぶならば、お母さんが走ってくるだろうと思います。”彼らは世界に関するデータを収集しており、それが制御されていない間、彼らは意図的にそれをやっています。”
ここでは、より多くのビジネス関連の例です。 あなたが油井を掘削するビジネスにいて、ビットを回す圧力と速度を調整する人工知能プログラムによって操作される新しいドリルビットを持っているとしましょう。, この新しい、より高価なビットが現在使用しているビットとどのように比較されるかを知りたいので、既存のドリルビットと新しいビットを比較 あなたは30の井戸を選択し、古いビットで15を掘削し、新しいビットで15を掘削します。 それはあなたの実験であり、あなたの関心のある変数はあなたが井戸をどれだけ効率的に掘削したかです。
ここでのウェルの数は、1,000人の潜在的な顧客に新しいマーケティングキャンペーンを表示している実験と比較してかなり小さいことに注意してく, サンプルサイズが大きいほど、統計的に有意な結果が得られる可能性が高くなります。 しかし、あなたはまた、あなたの実験のコストについて現実的でなければならず、油井を掘削するために何百万ドルもかかることを考えると、あなたはより少ない数の井戸でこの実験を実行する可能性が高いです。
実験では、対象の変数は従属変数と呼ばれます（複数の従属変数があるかもしれませんが、ここでは簡単にするために、従属変数を参照します）。, しかし、多くの独立変数もあります—あなたが従属変数に影響を与えると思われる要因。 “通常、実験では、一つ、または最大でもいくつかの独立変数について何かを学ぼうとしていますが、他の多くの要因が邪魔になる可能性があります”とRedman どのドリルが優れているかを知りたいのですが、井戸の大きさ、深さ、掘り進めているものなどの他の要因も、井戸を掘削する効率に影響し、新しいドリルの評価を複雑にします。, 同様に、臨床試験では、患者の年齢、一般的な健康状態、運動レジメン、血圧など、他の多くの要因があり、実験の結果が他の要因とは対照的に、実際に薬に起因するかどうかを確認することが困難になる可能性があります。
これが”制御された”という言葉の出番です。 統計学者は複数の概念を記述するためにこの用語を使用するため、この用語は混乱する可能性があります。 Redmanが冗談を言っているように、”完全に単純な概念を難読化するために統計学者に任せてください！,”最初の意味は、”一つ（またはいくつかの）変数の影響を分離することです”とRedman氏は説明します。 この意味での”制御された”とは、特定の変数が実験の結果に影響を与えないように制限を設けることを意味します。 したがって、臨床薬物試験では、参加者の食事がその薬が有効かどうかに影響することを心配するかもしれません。 あなたは、実験の期間中、すべての患者を同じ食事に置くことによって、これを”制御”します。, 同様に、掘削実験では、”予想される岩石の硬度”を考慮して、掘削がどれほど難しいかに基づいて15ペアの井戸を作成することができます。 それは期待される硬度を制御するでしょう。 また、これらの要因が実験に与える影響を制御するために、掘削装置と乗組員を使用することを確認することもできます。
“実験室の環境で物事を制御する方が簡単です”とRedman氏は言います。, しかし、レッドマンが知っている限り、”井戸の掘削ラボ”はありませんので、できる限り最善を尽くします。 たとえば、同じ場所に50フィート離れた二つのリグを設定し、乾燥した井戸を掘ることによって、おそらくより良い岩の硬度を制御することができます。 これにより、新旧のドリルビットが同様の状況下でどのように機能するかという点で、より信頼性の高い結果が得られますが、それはまた、あなたに だから、コストの価値があるどのくらい制御を決定する必要があります。,
“コントロール”の第二の意味は、あなたが勉強しているグループ—対照群と治療群を参照しています。 ここで、制御は、物事を行う現在の方法（例えば、古いビット）を意味し、処理は、物事を行う新しい方法（例えば、新しいビット）を意味する。 あなたの実験の結果を判断するために、あなたは尋ねる必要がありますので、これは重要です”何に比べて？”新しいビットで掘削を開始して決定するだけではありません”それは良いことです。”あなたはそれを対照群と比較する必要があります—この場合、あなたが掘っている15の井戸は、あなたのベースラインである古いビットです。,
同様に、新薬を試験するときは、人々が治療を受けていると思うだけで良くなる”プラセボ効果”を考慮する必要がありますので、対照群を治療群とまったく同じように扱い、対照群と比較して治療群の改善を探します。
しかし、どの井戸または人々が対照群に入り、どれが実験群に入るのですか？ そして、誰が最初に実験に入るのですか？ それがランダム化の出番です。, あなたが知らない変数の効果を無効にするには（臨床試験で患者の睡眠パターンを言いましょう）、被験者を対照群または治療群にランダムに割り当て 上記の井戸のあなたのペアで、あなたはランダムに、おそらく各ペアで新しいドリルを取得するコインを投げることによって、選ぶだろう。 これはRedmanが”隠されたバイアスを実験から取り除くこと”と呼ぶものです。”結局のところ、すべての健康な患者が治療を受けてから良くなれば、あなたは何も証明していません。, あなたが誤って新しいビットで最も簡単に掘る井戸の15をドリルした場合や、あなたは本当にそれが良いかどうかわかりません。
ランダム化（サンプルサイズが大きいほど）により、得られる結果は実際には関心のある独立変数（製薬の場合、薬物の効果）によって引き起こされ、したがって”実験を超えて一般化できる”とRedmanによると、より自信を持たせることができます。
参加者のこのソートがA/Bテストのように聞こえる場合、それは似ているからです。, A/Bは、あなたが制御因子と無作為化された被験者を持っていると仮定して、無作為化対照実験することができますが、すべての無作為化対照実験がA/
それでは、それをすべてまとめてみましょう。 Redmanの言葉では、”全体のアイデアは、あなたが興味のある独立変数を分離することです。 ランダム化対照実験とは、あなたが知っている因子を考慮して制御し、そうでない因子を考慮してランダム化する実験です。”
ランダム化対照実験を行う上での基本的なステップは何ですか？,
“実験設計をデータアナリストに任せるだけではありません”とRedman氏は言います。 マネージャーがプロセスを知り、理解することで、ビジネスに関する知識と経験を持ち、アナリストがデータの収集と分析の専門知識を持ち、より良いコラボレーションができるようにすることが重要です。
基本的な手順は次のとおりです。
- 目的の従属変数が何であるかを決定します（複数ある可能性があることを覚えておいてください）。 私たちの油井の例では、それはあなたが井戸を掘削する速度または効率です。
- 関心のある集団が何であるかを決定します。, 新しいビットがすべての井戸で機能するのか、特定の種類の井戸だけで機能するのかを理解することに興味がありますか？
- この実験で何をしようとしているのでしょうか？ 帰無仮説とは何ですか—あなたが反証しようとしている麦わらの男？ 対立仮説とは何ですか？ この場合の帰無仮説は、”二つのビットの間に違いはありません。”あなたの対立仮説はあるかもしれない”新しい穴あけ工具はより速い。,”
- あなたの実験を台無しにする可能性のあるすべての要因を考えてみてください—例えば、ドリルビットがさまざまなタイプの機械に取り付けられているか、特定のタイプの井戸で使用されている場合。
- 研究プロトコル、実験が行われるプロセスを書きます。 どのようにコントロールを構築するつもりですか？ サンプルサイズのどのくらいの大きさが必要ですか？ どのように井戸を選択するつもりですか？ どのようにランダム化を設定するつもりですか？
- プロトコルができたら、Redmanは、レイアウトしたプロセスがうまくいくかどうかをテストするために、小規模な実験を行うことを提案します。, “パイロット研究を行う理由は、あなたが最も可能性の高いあなたの**に落ちるつもりだということです、そしてそれはパイロット研究と呼ばれてい ドリルビットのような実験では、井戸の掘削にかかるコストと時間のためにパイロットをスキップすることができます。
- パイロット研究で学んだことに基づいてプロトコルを改訂します。
- できるだけ近くのプロトコルに従って実験を行います。
- 結果を分析し、計画された結果の両方を探し、予期しない結果に対して目を開いたままにします。,
結果を分析した後（おそらく統計的に有意であるかどうかをテストした後）、結果を実践します。 これはもちろん、ゴムが道路に当たるところです。 何だ、研究室での実験についての分野です。 レッドマンが言うように、”あなたは研究室でお金を稼ぐことはありません。 あなたは現実の世界でお金を稼ぐ。 だからすぐにラボから出て行ってくれ”
無作為化対照実験を行うとき、人々はどのような間違いを犯しますか？,
レッドマンは、企業が犯す最大の過ちの一つは、単に十分な実験を行っていないと言います—だけでなく、無作為化対照実験が、より少ないコストと “マネージャーは答えを知ると期待される。 マネージャーが”私が知っているかどうかわからない、実験をしよう”と言うには、これらのことを実行する方法のある程度の洗練さと理解が必要です。”しかし、実験がなければ、あなたの勘が正しいことを本当に確信することはできません。,
実験を求めて喜んでいる管理者でさえ、実験を慎重に計画しないことがよくあります。 Redmanは、上記のすべてのステップを実行することが重要だと言いますが、多くの場合、管理者は最初のいくつかのステップを行います—関心のある変数とおそらく人口を把握してから、実験を行うために先にスキップしてください。 “彼らは考えをしていません”とRedman氏は言います。 “それは彼らが好きではなかったそれらのドーピー科学のクラスに人々を戻します”しかし、それはステップをあまり重要にしません。,
これは別の間違いにつながります：あなたが興味のある変数を分離するのに十分なコントロールを配置していません。 それは台無しにするのは簡単です。 これらの実験が必要かについて多くの実験デザイン。 どのように正確にあなたが勉強しようとしている要因を分離するのですか？ しかし、これを行うに失敗すると、結果を間違った要因に帰することができます。
Redmanが指摘している最後の間違いは、解くのが簡単なものです：アナリストを巻き込まないことです。, “多くのマネージャーは、データサイエンティストにデータを投げることができると思っています”と彼は言いますが、”自己尊重のデータアナリストはすべて、実験”そして、それは誰にとっても良いことです。 共同作業のプロセスが早ければ早いほど、お互いの経験から得ることができる可能性が高くなります。