afin de prendre des décisions intelligentes au travail, nous avons besoin de données. La provenance de ces données et la façon dont nous les analysons dépendent de nombreux facteurs — par exemple, ce que nous essayons de faire avec les résultats, la précision des résultats et le budget dont nous disposons. Il existe un éventail d’expériences que les gestionnaires peuvent faire, des expériences rapides et informelles, aux études pilotes, aux expériences sur le terrain et à la recherche en laboratoire., L’une des expériences les plus structurées est l’expérience contrôlée randomisée.
pour mieux comprendre ce qu’est une expérience contrôlée randomisée et comment les entreprises les utilisent, j’ai parlé avec Tom Redman, auteur de Data Driven: Profiting from Your Most Important Business Asset. Il conseille également les organisations sur leurs programmes de données et de qualité des données.
qu’est-ce qu’une expérience contrôlée randomisée?,
lorsque les gens entendent le terme, ils pensent le plus souvent à des essais cliniques, où un groupe reçoit un traitement et un autre un placebo, mais les sociétés pharmaceutiques et les scientifiques médicaux ne sont pas les seuls à utiliser ce type d’expériences. Toutes sortes d’entreprises peuvent mener ces expériences, et elles n’ont pas nécessairement besoin d’être coûteuses ou de prendre du temps — elles doivent simplement être « contrôlées” et inclure un élément de « randomisation ».”
commençons par le mot expérience. « Une expérience est une activité planifiée dont le but est d’apprendre quelque chose sur le monde”, explique Redman., Il donne l’exemple des enfants de deux ans, qui font constamment des expériences: « ils pensent: » Si je crie, maman va courir. »Ils collectent des données sur le monde, et bien que ce ne soit pas contrôlé, ils le font délibérément. »
Voici un exemple plus lié aux affaires. Disons que vous êtes dans l’entreprise de forage de puits de pétrole, et vous avez un nouveau foret qui est exploité par un programme d’intelligence artificielle qui ajuste la pression et la vitesse avec laquelle vous tournez le peu., Vous voulez savoir comment ce nouveau foret plus cher se compare au foret que vous utilisez actuellement, vous effectuez donc une expérience comparant votre foret existant avec le nouveau. Vous sélectionnez 30 puits et forez 15 d’entre eux avec l’ancien foret et 15 avec le nouveau. C’est votre expérience, et votre variable d’intérêt pourrait être l’efficacité avec laquelle vous avez foré le puits.
notez que le nombre de puits ici est assez faible par rapport à une expérience, par exemple, où vous montrez à 1 000 clients potentiels une nouvelle campagne de marketing., Plus la taille de votre échantillon est grande, plus vous aurez de chances d’avoir des résultats statistiquement significatifs. Mais vous devez également être réaliste quant au coût de votre expérience, et étant donné qu’il en coûte des millions de dollars pour forer un puits de pétrole, vous êtes susceptible de mener cette expérience sur un plus petit nombre de puits.
dans une expérience, la variable d’intérêt est appelée votre variable dépendante (notez que vous pouvez avoir plusieurs variables dépendantes, mais par souci de simplicité ici, je vais me référer à une variable dépendante)., Mais il existe également de nombreuses variables indépendantes — des facteurs que vous soupçonnez avoir un impact sur votre variable dépendante. « Habituellement, dans une expérience, vous essayez d’apprendre quelque chose sur une, ou tout au plus quelques variables indépendantes, mais beaucoup d’autres facteurs peuvent vous gêner”, explique Redman. Vous voulez savoir quel forage est le meilleur, mais d’autres facteurs, tels que la taille du puits, sa profondeur et ce que vous creusez, affecteront également l’efficacité de votre forage et compliqueront votre évaluation du nouveau forage., De même, dans un essai clinique, il y a beaucoup d’autres facteurs, tels que l’âge des patients, la santé générale, les régimes d’exercice et la pression artérielle, qui peuvent rendre difficile de voir si les résultats de l’expérience peuvent vraiment être attribués au médicament par opposition à un autre facteur.
C’est là que le mot « contrôlé” entre en jeu. Ce terme peut prêter à confusion car les statisticiens l’utilisent pour décrire plus d’un concept. Comme le plaisante Redman, » laissez aux statisticiens le soin d’obscurcir un concept parfaitement simple!,” Le sens premier est « d’isoler l’impact d’une (ou quelques) variables”, explique Redman. « Contrôlé », en ce sens, signifie mettre en place des restrictions afin que certaines variables n’affectent pas le résultat de votre expérience. Ainsi, dans un essai clinique de médicaments, vous pourriez craindre que le régime alimentaire des participants affecte l’efficacité du médicament. Vous « contrôlez » pour cela en mettant tous les patients sous le même régime pendant toute la durée de l’expérience., De même, dans l’expérience de forage, vous voudrez peut-être être sûr de tenir compte de la « dureté attendue de la roche”, de sorte que vous pouvez créer 15 paires de puits en fonction de la difficulté à forer. Cela contrôlerait la dureté attendue. Vous pouvez également vous assurer que vous utilisez du matériel de forage et des équipes pour contrôler l’impact que ces facteurs peuvent avoir sur l’expérience.
de nombreuses expériences contrôlées randomisées sont effectuées dans un laboratoire, car « il est plus facile de contrôler les choses en laboratoire”, explique Redman., Mais pour autant que Redman sache, il n’y a pas de « laboratoire de forage de puits”, alors vous faites de votre mieux. Par exemple, vous pouvez probablement mieux contrôler la dureté de la roche en installant deux plates-formes à 50 pieds l’une de l’autre au même endroit et en creusant des puits secs. Cela vous donnera un résultat plus fiable en termes de performance des forets nouveaux et anciens dans des circonstances similaires, mais cela vous coûtera également beaucoup d’argent et vous ne gagnerez pas d’argent dans le processus. Donc, vous devez décider combien de contrôle vaut le coût.,
la deuxième signification de « contrôle” fait référence aux groupes que vous étudiez — un groupe témoin et un groupe de traitement. Ici, le contrôle signifie la façon actuelle de faire les choses (par exemple, l’ancien bit) et le traitement signifie la nouvelle façon de faire les choses (par exemple, le nouveau bit). C’est important car pour juger des résultats de votre expérience, il faut se demander » par rapport à quoi?” Vous ne commencez pas simplement à forer avec le nouveau foret et décidez » c’est mieux.” Vous devez le comparer à un groupe témoin — dans ce cas, les 15 puits que vous creusez avec l’ancien bit, qui est votre ligne de base.,
de même, lorsque vous testez un nouveau médicament, vous devez tenir compte de « l’effet placebo”, où les gens s’améliorent simplement parce qu’ils pensent être traités, de sorte que vous traitez votre groupe témoin exactement de la même manière que le groupe de traitement, et vous recherchez une amélioration dans le groupe de traitement par rapport au groupe
Mais ce qui les puits ou les les gens vont dans le groupe de contrôle et qui vont dans le groupe expérimental? Et qui entre dans l’expérience en premier lieu? C’est là que la randomisation entre en jeu., Pour annuler les effets de variables que vous ignorez (disons les habitudes de sommeil des patients dans un essai clinique), vous assignez au hasard des sujets au groupe témoin ou au groupe de traitement. Avec vos paires de puits au-dessus, vous choisiriez au hasard, peut-être même en lançant une pièce de monnaie, qui obtient le nouveau foret dans chaque paire. C’est ce que Redman appelle « retirer le biais caché de l’expérience. »Après tout, si tous les patients en bonne santé reçoivent le traitement et s’améliorent ensuite, vous n’avez rien prouvé., Ou si vous Forez accidentellement 15 des puits les plus faciles à creuser avec le nouveau foret, vous ne savez pas vraiment si c’est mieux.
la randomisation (avec une plus grande taille d’échantillon) vous rend plus confiant que tout résultat que vous obtenez est en fait causé par la variable indépendante d’intérêt — dans le cas pharmaceutique, l’effet du médicament — et est donc « généralisable au-delà de l’expérience”, selon Redman.
si ce tri des participants ressemble à un test A / B, c’est parce qu’ils sont similaires., A / B peut être une expérience contrôlée randomisée, en supposant que vous avez contrôlé des facteurs et des sujets randomisés, mais toutes les expériences contrôlées randomisées ne sont pas des tests A/B.
alors mettons tout cela ensemble. Dans Redman mots: « L’idée est d’isoler les variables indépendantes qui vous intéressent. Une expérience contrôlée randomisée est une expérience où vous contrôlez pour tenir compte des facteurs que vous connaissez, puis Randomisez pour tenir compte de ceux que vous ne connaissez pas. »
quelles sont les étapes de base pour mener une expérience contrôlée randomisée?,
« ne laissez pas seulement la conception expérimentale aux analystes de données”, explique Redman. Il est important pour un gestionnaire de connaître et de comprendre le processus afin que vous puissiez mieux collaborer, avec vous apportant les connaissances et l’expérience avec l’entreprise et l’analyste apportant l’expertise dans la collecte et l’analyse des données.
Voici les étapes de base:
- décidez quelle est votre variable dépendante d’intérêt (rappelez-vous qu’il peut y en avoir plus d’une). Dans notre exemple de puits de pétrole, c’est la vitesse ou l’efficacité avec laquelle vous Forez le puits.
- déterminer quelle est la population d’intérêt., Êtes-vous intéressé à comprendre si le nouveau bit fonctionne dans tous vos puits ou seulement des types spécifiques de ceux?
- Demandez-vous, Qu’est-ce que nous essayons de faire avec cette expérience? Quelle est l’hypothèse nulle-l’homme de paille que vous essayez de réfuter? Qu’est-ce que l’hypothèse alternative? Votre hypothèse nulle dans ce cas pourrait être: « il n’y a pas de différence entre les deux bits.” Votre hypothèse alternative pourrait être, « Le nouveau foret est plus rapide.,”
- Pensez à tous les facteurs qui pourraient gâcher votre expérience — par exemple, si les mèches sont attachés à différents types de machines ou sont utilisés dans certains types de puits.
- Rédiger un protocole de recherche, le processus par lequel l’expérience devient effectué. Comment allez-vous construire dans les contrôles? De quelle taille d’échantillon Avez-vous besoin? Comment allez-vous sélectionner le puits? Comment allez-vous mettre en place la randomisation?
- Une fois que vous avez un protocole, Redman vous suggère de faire une expérience à petite échelle pour tester si le processus que vous avez défini fonctionnera., « La raison de faire une étude pilote est que vous allez probablement tomber sur votre a**, et ça fait moins mal quand on appelle une étude pilote”, plaisante-t-il. Avec une expérience comme celle du foret, vous pouvez ignorer le pilote en raison du coût et du temps requis pour forer un puits.
- révisez le protocole en fonction de ce que vous avez appris dans votre étude pilote.
- mener l’expérience, en suivant le protocole aussi étroitement que possible.
- analysez les résultats, en recherchant à la fois les résultats prévus et en gardant les yeux ouverts pour les résultats inattendus.,
Après avoir analysé les résultats (et probablement testé s’ils sont statistiquement significatifs), vous mettez les résultats en pratique. C’est là que le caoutchouc frappe la route, bien sûr. Ce que vous trouvez dans une expérience de laboratoire peut ne pas toujours tenir sur le terrain. Comme le dit Redman, » on ne gagne pas d’argent dans un laboratoire. Vous gagnez de l’argent dans le monde réel. Alors sortez du labo rapidement. »
quelles erreurs les gens font-ils en faisant des expériences contrôlées randomisées?,
Redman dit que l’une des plus grandes erreurs que les entreprises font est tout simplement de ne pas faire assez d’expériences — pas seulement des expériences contrôlées randomisées, mais encore plus informelles qui sont moins coûteuses et chronophages. « Les gestionnaires doivent connaître les réponses. Pour qu’un gestionnaire dise: « Je ne suis pas sûr de savoir, faisons une expérience », il faut une certaine sophistication et une certaine compréhension de la façon de gérer ces choses. »Mais sans expériences, vous ne pouvez pas vraiment être sûr que vos intuitions ont raison.,
même les gestionnaires qui sont prêts à faire appel à des expériences souvent ne planifient pas l’expérience assez soigneusement. Redman dit qu’il est important de faire toutes les étapes décrites ci — dessus, mais le plus souvent, les gestionnaires font les quelques étapes initiales — déterminer la variable d’intérêt et peut-être la population-puis sauter avant de mener l’expérience. ” Ils n’ont pas fait la réflexion », dit Redman. « Cela ramène les gens à ces cours de sciences dopés qu’ils n’aimaient pas”, mais cela ne rend pas les étapes moins critiques.,
cela conduit à une autre erreur: vous n’avez pas mis suffisamment de contrôles en place pour isoler la ou les variables qui vous intéressent. Il est facile de désordre. Faire ces expériences nécessite d’en savoir beaucoup sur la conception expérimentale. Comment isolez-vous exactement les facteurs que vous essayez d’étudier? Mais ne pas le faire signifie que vous pourriez attribuer les résultats aux mauvais facteurs.
la dernière erreur que Redman souligne est facile à résoudre: ne pas impliquer l’analyste., ” Beaucoup de gestionnaires pensent qu’ils peuvent simplement jeter des données sur un Data scientist », dit-il, mais » chaque analyste de données qui se respecte voudra être impliqué dans la mise en place de l’expérience et la rédaction du protocole.” Et c’est juste bon pour tout le monde. Plus vous collaborez tôt dans le processus, plus vous aurez de chances de tirer parti de l’expérience de chacun.