Überprüfungsstatistiken
Es wurden viertausendfünfundneunzig eindeutige Datensätze identifiziert, von denen 93 im Volltext überprüft wurden (siehe Abb. 1). Insgesamt wurden 30 Dokumente in die systematische Überprüfung aufgenommen, die 25 einzigartige Leitlinien darstellten., Die meisten Beratungsquellen identifizierten nicht explizit eine Zielgruppe, und die Leitlinien unterschieden sich in ihrer Relevanz für die öffentliche Gesundheit. Tabelle 2 enthält einen Überblick über alle in die Überprüfung einbezogenen Orientierungsquellen, wobei für die öffentliche Gesundheit mehr oder weniger relevante Orientierungsquellen sowie solche, die speziell für explorative Studien mit randomisiertem Design verwendet wurden, identifiziert wurden.
Flussdiagramm
Ergebnisse aus der Anleitung
In der enthaltenen Anleitung wurde eine breite Palette von Empfehlungen zum Prozess der Durchführung und Berichterstattung von Explorationsstudien angegeben., Wir kategorisiert diese in acht Themen erfassen: Voraussetzungen für die Durchführung einer explorativen Studie, die Nomenklatur, die Anleitung für die intervention, Bewertung, Beratung rund um die zukünftige evaluation study design, adaptive vs steife Konstruktionen, progression Kriterien für explorative Studien, stakeholder-Beteiligung und der Berichterstattung.,
Narrative Beschreibung der Themen
Thema 1: Voraussetzungen für die Durchführung einer explorativen Studie
Soweit erwähnt, umfassten die erforderlichen Aktivitäten die Ermittlung der Evidenzbasis, die Festlegung der theoretischen Grundlage für die Intervention, die Identifizierung der Interventionskomponenten sowie die Modellierung der Intervention, um zu verstehen, wie Interventionskomponenten interagieren und sich auf die Endergebnisse auswirken . Diese wurden oft diskutiert im Rahmen der MRC-intervention-Entwicklung-evaluation cycle ., Es wurde auch aufgezeigt, wie Interventionskomponenten mit verschiedenen kontextuellen Einstellungen interagieren und unbeabsichtigte Schäden sowie mögliche Implementierungsprobleme identifizieren. Bei der Beurteilung fehlte es an Details, wann diese oben genannten Bedingungen ausreichend erfüllt waren, um zu einer explorativen Studie überzugehen.
Thema 2: Nomenklatur
Eine breite Palette von Begriffen wurde manchmal austauschbar verwendet, um explorative Studien zu beschreiben, wobei die häufigsten Pilotversuche/Studien waren. Tabelle 3 zeigt die Häufigkeit der in der Anleitung verwendeten Begriffe einschließlich anderer gebilligter Begriffe.,
Verschiedene Terminologien schienen nicht konsistent mit bestimmten Studienzwecken verknüpft zu sein (siehe Thema 3), wie in Tabelle 2 dargestellt. „Pilot -“ und „Machbarkeitsstudien“ wurden manchmal austauschbar verwendet, während andere die beiden nach Konstruktionsmerkmalen oder bestimmten Zielen unterschieden ., Zum Beispiel beschrieben einige Pilotstudien als eine kleinere Version eines zukünftigen RCT, die in Miniatur ausgeführt werden sollte , und wurden manchmal mit einem randomisierten Design in Verbindung gebracht, jedoch nicht immer . Im Gegensatz dazu wurden Machbarkeitsstudien von Eldridge et al.als Oberbegriff verwendet. mit Pilotstudien, die eine Teilmenge von Machbarkeitsstudien darstellen ‘“ Wir schlagen vor, dass die Forscher die Machbarkeit als übergreifendes Konzept betrachten, wobei alle Studien zur Vorbereitung einer Hauptstudie, die als Machbarkeitsstudien bezeichnet werden kann, und mit Pilotstudien als Teilmenge von Machbarkeitsstudien durchgeführt werden.“(S. 18).,
Machbarkeitsstudien könnten sich auf bestimmte Interventions-und Versuchsdesignelemente konzentrieren, die möglicherweise keine Randomisierung enthalten . Interne Pilotstudien wurden in erster Linie als Teil der vollständigen Studie betrachtet und sind daher in Tabelle 3 nicht in der Nomenklatur dargestellt.
Obwohl keine Quellen ausdrücklich erklärten, dass eine explorative Studie sich auf einen Bereich und nicht auf den anderen konzentrieren sollte, divergierten die Ziele und die damit verbundenen Methoden der explorativen Studien in zwei separate Themen. Sie betrafen entweder die Untersuchung der Intervention selbst oder das zukünftige Bewertungsdesign und sind im Folgenden in den Themen 3 und 4 detailliert beschrieben.,
Thema 3: Leitlinien für die Interventionsbewertung
Orientierungsquellen für explorative Studien mit prägenden Zwecken (d. H. Verfeinerung der Intervention und Behebung von Unsicherheiten im Zusammenhang mit der Interventionsdurchführung ) sowie summative Ziele (d. H. Bewertung der potenziellen Auswirkungen einer Intervention oder ihres Versprechens ).
die Verfeinerung der intervention und der zugrunde liegenden Theorie
Einige Hinweise vorgeschlagen, dass Veränderungen vorgenommen werden konnten, innerhalb von explorativen Studien zu verfeinern, die intervention und die zugrunde liegende Theorie und anpassen intervention Inhalte auf eine neue Einstellung ., Die Leitlinien waren jedoch nicht klar, was geringfügige oder wesentliche Änderungen und Auswirkungen auf die Progressionskriterien darstellte (siehe Thema 6). Wenn Änderungen an der Intervention oder der zugrunde liegenden Theorie vorgenommen werden, sollte dies im Verlauf der explorativen Studie empfohlen werden (siehe Thema 5). Andere hoben die Rolle der Verwendung eines mehrarmigen Designs hervor, um den Inhalt der Intervention vor einer vollständigen Bewertung auszuwählen und mögliche Mechanismen mehrerer verschiedener Interventionen oder Interventionskomponenten zu bewerten ., Mehrere Quellen hoben die Rolle der qualitativen Forschung bei der Optimierung oder Verfeinerung einer Intervention hervor, insbesondere um die Komponenten des Logikmodells zu verstehen und versteckte Aspekte der Intervention aufzudecken, die für die Bereitstellung von Ergebnissen wichtig sind .
Interventionsdurchführung
In einer breiten Palette von Leitlinien war man sich einig, dass explorative Studien wichtige Unsicherheiten im Zusammenhang mit der Interventionsdurchführung untersuchen könnten, wie z. B. Akzeptanz, Durchführbarkeit oder Praktikabilität. Insbesondere waren diese Begriffe oft schlecht definiert und austauschbar verwendet., Die Akzeptanz wurde in Bezug auf die Reaktionen der Empfänger berücksichtigt, während andere auch aus Sicht der Interventionsanbieter, Zusteller und Angehörigen der Gesundheitsberufe auf die Machbarkeit achteten . Umsetzung, Machbarkeit, treue und ‚Sachlichkeit‘ erforscht die Wahrscheinlichkeit, in der Lage zu liefern in der Praxis, was beabsichtigt war . Diese wurden manchmal als Ziele in einer integrierten Prozess-evaluation, fand neben einer explorativen Studie, obwohl der Begriff Prozess-evaluation wurde nie definiert .,
Qualitative Forschung wurde zur Bewertung der Interventionsakzeptabilität oder zur Umsetzung (z.B. durch Nichtteilnehmerbeobachtung) angeregt. Vorsicht wurde in Bezug auf Fokusgruppen empfohlen, in denen das Risiko besteht, abweichende Ansichten zu maskieren . Andere empfahlen quantitative Erhebungen, um die Retentionsraten und die Gründe für den Abbruch zu untersuchen . Darüber hinaus betonten mehrere Quellen, wie wichtig es ist, die Implementierung in einer Reihe von Kontexten —insbesondere in weniger sozioökonomisch benachteiligten Gruppen-zu testen, um das Risiko einer Ausweitung der Gesundheitsungleichheiten zu untersuchen .,
Eine Quelle von Leitlinien untersuchte, ob eine Randomisierung für die Beurteilung der Interventionsakzeptabilität erforderlich war, hielt dies für unnötig, schlug jedoch auch vor, dass sie „möglicherweise von der Präferenz der in der Hauptstudie angebotenen Interventionen abhängen könnte“ (; p. 9). Daher können sich Fragen der Interventionsakzeptabilität, insbesondere in mehrarmigen Studien, auf die klinische Equipoise und die Akzeptanz von Randomisierungsverfahren bei den Teilnehmern beziehen .,
Angemessenheit der Bewertung der Auswirkungen der Intervention
Mehrere Orientierungsquellen erörterten die Notwendigkeit, die Auswirkungen der Intervention, einschließlich Schäden, Vorteile oder unbeabsichtigte Folgen, zu verstehen . Ein Großteil der Leitlinien konzentrierte sich auf statistische Wirksamkeitstests, wobei die Solidität dieses Ziels nicht in Frage gestellt wurde, obwohl auch qualitative Methoden empfohlen wurden . Einige verurteilten statistisch Tests auf Wirksamkeit, da solche Studien oft unterfordert sind, was zu ungenauen und möglicherweise irreführenden Schätzungen der Effektgrößen führt ., Andere argumentierten, dass eine Schätzung der wahrscheinlichen Effektgröße nachweisen könnte, dass die Intervention wie beabsichtigt funktionierte und keine ernsthaften unbeabsichtigten Schäden hatte, und daher zur Berechnung der Leistung für den gesamten Prozess verwendet werden könnte . Spätere Leitlinien des MRC sind mehrdeutiger als frühere Leitlinien, wonach Schätzungen mit Vorsicht interpretiert werden sollten, während gleichzeitig „sichere“ Annahmen von Effektgrößen als Voraussetzung angegeben werden, bevor mit einer vollständigen Bewertung fortgefahren wird ., NIHR Anleitung, die unterschieden zwischen pilot-und Machbarkeitsstudien, unterstützt die Beurteilung des primären Ergebnisse in pilot-Studien, obwohl es unklar ist, ob dies darauf hindeutet, dass ein pilot sollte es auch um einen ersten test der Veränderungen in den primären Endpunkt, oder einfach, dass der primäre Endpunkt sollte in der gleichen Weise gemessen, wie es wäre, in eine umfassende Bewertung. Bei „Machbarkeitsstudien“ hingegen wurde angegeben, dass ein Ziel darin bestehen kann, eine Ergebnismaßnahme zu entwerfen, die für eine vollständige Bewertung verwendet werden soll.,
Andere plädierten dafür, Beweise für eine potenzielle Wirksamkeit zu identifizieren , einschließlich der Verwendung von Zwischen-oder Ersatzendpunkten, definiert als „…Variablen auf dem Kausalweg dessen, was schließlich das primäre Ergebnis des zukünftigen endgültigen RCT oder der Ergebnisse zu frühen Zeitpunkten sein könnte, um zu bewerten, ob der Eingriff die wahrscheinlichen Ergebnisse des zukünftigen endgültigen RCT beeinflussen kann… “ (S. 14).,
Die Randomisierung wurde als Entwurfsmerkmal von explorativen Studien impliziert, wenn eine Effektgrößenschätzung der Intervention geschätzt wurde, da sie die Wahrscheinlichkeit maximierte, dass beobachtete Unterschiede auf Intervention zurückzuführen sind, wobei die Anleitung hauptsächlich aus einer Anfangsannahme stammt, dass die vollständige Bewertung in Form eines RCT erfolgen wird, und die Anleitung konzentrierte sich weniger auf explorative Studien für quasi-experimentelle oder andere Designs., Für Studien, die darauf abzielen, die potenzielle Wirksamkeit anhand eines Ersatz-oder Zwischenergebnisses zu bewerten, wurde die Verwendung einer Standardprobengrößenberechnung empfohlen, um eine ausreichende Leistung sicherzustellen, obwohl festgestellt wurde, dass dieses Ziel in explorativen Studien selten ist .
Thema 4: Leitlinien für das zukünftige Bewertungsdesign
Quellen befürworteten konsequent die Bewertung der Durchführbarkeit von Studienverfahren oder die Schätzung von Parametern der zukünftigen Bewertung. Empfehlungen sind unten detailliert.,
Bewertung der Machbarkeit des zukünftigen Evaluierungsdesigns
Die Bewertung der Machbarkeit zukünftiger Evaluierungsverfahren wurde allgemein empfohlen, um Probleme abzuwenden, die das Verhalten oder die Akzeptanz zukünftiger Evaluierungen untergraben könnten . Eine Breite Palette von Verfahren vorgeschlagen wurden, als seien die Einschätzungen der Machbarkeit der Erhebung von Daten , Teilnehmer retention Strategien , Randomisierung , rekrutierungsmethoden , läuft das vollständige Studienprotokoll , die Bereitschaft der Teilnehmer werden randomisiert und Probleme der Kontamination ., Es gab Meinungsverschiedenheiten über die Angemessenheit der Bewertung der Blendung in explorativen Studien , mit einer Hand in Anbetracht doppelte Verblindung ist schwierig, wenn die Teilnehmer werden dabei unterstützt, Ihr Verhalten zu ändern, obwohl die Bewertung einzelner Blendender ist möglich .
Zur Beurteilung dieser Prozesse wurden qualitative , quantitative und gemischte Methoden gebilligt. In Anbetracht der Tendenz, dass sich die Anleitung für explorative Studien auf Studien zur Vorbereitung von RCTs beschränkt, wurde die Rolle der Randomisierung in der Phase der explorativen Studien stark in der Anleitung diskutiert., Die Randomisierung im Rahmen einer explorativen Studie wurde als notwendig erachtet, um die Durchführbarkeit der Rekrutierung, die Zustimmung zur Randomisierung, die Beibehaltung, Kontamination oder Aufrechterhaltung der Blendung in den Kontroll-und Interventionsgruppen, die Randomisierungsverfahren und die Frage, ob alle Komponenten eines Protokolls zusammenarbeiten können, zu prüfen, obwohl eine Randomisierung zur Bewertung der Ergebnislast und der Teilnahmeberechtigung nicht als notwendig erachtet wurde ., Während es einen Konsens darüber gab, welche Themen durch Randomisierung bewertet werden konnten, waren sich die Quellen nicht einig darüber, ob die Randomisierung einer zukünftigen Bewertungsstudie immer vorausgehen sollte, selbst wenn diese zukünftige Studie ein RCT sein soll. Die Behauptung schien mit einer Variation der Nomenklatur und der damit verbundenen Ziele verbunden zu sein. Zum Beispiel definiert einige Pilotstudie als eine Studie in Miniatur laufen, um zu testen, wie alle seine Komponenten zusammenarbeiten, wodurch ein randomisiertes Design diktieren . Für Machbarkeitsstudien war eine Randomisierung jedoch nur erforderlich, wenn sie die Unsicherheiten bei der Schätzung der Parameter für die zukünftige Bewertung verringerte ., In ähnlicher Weise sollten andere Leitlinien für eine explorative Studie (unabhängig von der Nomenklatur) die wichtigsten Unsicherheiten berücksichtigen und daher möglicherweise nicht von der Randomisierung abhängen .
Schätzparameter des zukünftigen Bewertungsdesigns
Während qualitative Methoden für die Auswahl der Ergebnisse und ihrer geeigneten Maßnahmen als nützlich erachtet wurden , konzentrierten sich die meisten Leitlinien auf quantitative Methoden zur Schätzung zukünftiger Bewertungsstichprobengrößen., Dies war umstritten, da bei einer zukünftigen Bewertung möglicherweise Stichprobengrößen über – oder unterschätzt werden mussten, da die Schätzungen eines kleinen Piloten nicht präzise waren . Die Schätzung der Stichprobengrößen anhand von Effektgrößenschätzungen in einer explorativen Studie wurde jedoch von einigen als nützlich erachtet, wenn es kaum Literatur gab und die explorative Studie dasselbe Design und Ergebnis wie die zukünftige Bewertung verwendete . Cluster-RCTs, die bei öffentlichen Gesundheitsinterventionen üblich sind, wurden speziell als ungeeignet für die Schätzung von Parametern für Stichprobengrößenberechnungen (z., intra-Cluster-Korrelationskoeffizienten) sowie Rekrutierungs-und Follow-up-Raten ohne zusätzliche Informationen aus anderen Ressourcen, da eine große Anzahl von Clustern und einzelnen Teilnehmern erforderlich wäre . Andere verwiesen auf „Faustregeln“ bei der Bestimmung der Stichprobengrößen in einer explorativen Studie mit Zahlen zwischen 10 und 75 Teilnehmern pro Versuchsarm in individuell randomisierten Studien ., Mehrere empfahlen auch die Notwendigkeit, einen gewünschten signifikanten Unterschied in den Gesundheitsergebnissen aus einer zukünftigen Bewertung und die geeignete Stichprobengröße zu berücksichtigen, die erforderlich ist, um dies zu erkennen, anstatt Stichprobengrößenberechnungen unter Verwendung von Schätzungen der wahrscheinlichen Effektgröße aus Pilotdaten durchzuführen .
Ein randomisiertes Design wurde für die Schätzung der Kosten oder die Auswahl der Ergebnisse als unnötig erachtet, obwohl es für die Schätzung der Rekrutierungs-und Aufbewahrungsraten für Interventions-und Kontrollgruppen bewertet wurde ., Wenn in den Leitlinien die Schätzung einer Effektgröße angegeben wurde, die geeignet ist, den Stichprobenumfang für eine zukünftige Bewertung zu informieren, wurde ein randomisierter Entwurf als notwendig erachtet .
Thema 5: flexibles vs. festes Design
Quellen gaben an, dass explorative Studien ein starres oder flexibles Design verwenden könnten. Bei letzterem kann sich das Design im Verlauf der Studie ändern, was sowohl für Änderungen an der Intervention als auch für das zukünftige Bewertungsdesign nützlich ist ., Hier können qualitative Daten analysiert werden, wie sie gesammelt werden, Gestaltung des explorativen Studienprozesses, zum Beispiel Probenahme nachfolgender Datensammelstellen , und Klärung der Auswirkungen auf die Wirksamkeit der Intervention .
Im Gegensatz dazu wurden bei der Untersuchung der zukünftigen Bewertungsparameter und-prozesse feste explorative Studien angeregt . Es kann sein, dass die in einigen Leitlinien verwendete Nomenklatur (z. B. Pilotstudien, die als Miniaturversionen der Bewertung beschrieben werden) eine Unterscheidung zwischen flexibleren und strengeren Entwürfen nahelegt., In einigen Leitlinien wurde nicht erwähnt, ob im Verlauf einer explorativen Studie oder danach Änderungen vorgenommen werden sollten, um das bestmögliche Design für die zukünftige Bewertung zu erhalten .
Thema 6: Progressionskriterien zu einer zukünftigen Bewertungsstudie
Es wurden wenig Hinweise darauf gegeben, was bei der Formulierung von Progressionskriterien für die Fortsetzung einer zukünftigen Bewertungsstudie berücksichtigt werden sollte., Einige konzentrierten sich auf die relevanten Unsicherheiten der Durchführbarkeit , während andere spezifische Punkte in Bezug auf die Kosteneffizienz hervorheben , kausale Hypothesen verfeinern, die in einer zukünftigen Bewertung getestet werden sollen, und Rekrutierungsziele erreichen . Wie in den Themen 3 und 4 diskutiert, wurden statistisch Tests auf Wirksamkeit und Verwendung von Effektgrößen für Leistungsberechnungen von einigen gewarnt, und so wurden Kriterien, die auf Effektgrößen basierten, nicht spezifiziert .
Die Diskussion widmete sich der Frage, wie Evidenz aus einer explorativen Studie, die sich mit mehreren Zielen befasste und verschiedene Methoden anwendete, gewichtet werden kann., Einige explizit genannte Progressionskriterien sollten nicht als strenge Schwellenwerte beurteilt werden, sondern als Richtlinien, die beispielsweise ein Ampelsystem mit unterschiedlichem Akzeptanzniveau verwenden . Andere hoben einen realistischen Ansatz hervor und wandten sich von binären Indikatoren ab, um sich darauf zu konzentrieren, „was für wen und unter welchen Umständen machbar und akzeptabel ist“. In Anbetracht der Schwierigkeiten bei der Interpretation von Effektschätzungen sollten mehrere Quellen, die qualitative Ergebnisse aus explorativen Studien empfehlen, einflussreicher sein als quantitative Ergebnisse .,
Interessanterweise gab es Unklarheiten hinsichtlich des Fortschreitens, wenn explorative Ergebnisse auf wesentliche Änderungen des Interventions-oder Bewertungsdesigns hindeuteten. Quellen, die dieses Problem in Betracht zogen, schlugen vor, dass die Forscher zu den Sondierungs-oder Interventionsentwicklungsphasen zurückkehren sollten, wenn „umfangreiche Änderungen“ oder „wesentliche Änderungen“ an beiden vorgenommen werden (beachten Sie, dass sie nicht angegeben haben, was als solche qualifiziert ist).,
“ Alternativ können Forscher in der Durchführbarkeitsphase grundlegende Probleme mit der Intervention oder dem Versuchsverhalten identifizieren und in die Entwicklungsphase zurückkehren, anstatt mit einer vollständigen Studie fortzufahren.“(S. 1).
Wie zuvor beschrieben, blieb der Schwellenwert, bei dem Änderungen als „wesentlich“ bestimmt werden, jedoch mehrdeutig., Während die aktualisierten MRC-Leitlinien zu einem iterativeren Modell übergingen und akzeptierten, dass manchmal eine Rückbewegung zwischen Machbarkeit/Pilotierung und Interventionsentwicklung erforderlich sein könnte, gab es keine Hinweise darauf, unter welchen Bedingungen eine Bewegung zwischen diesen beiden Phasen stattfinden sollte.
Thema 7: Beteiligung der Stakeholder
Mehrere Quellen empfehlen eine Reihe von Stakeholdern (z., interventionsanbieter, Interventionsempfänger, öffentliche Vertreter sowie Praktiker, die die von der vollständigen Studie vorgelegten Beweise verwenden könnten, werden an der Planung und Durchführung der explorativen Studie beteiligt, um sicherzustellen, dass die explorativen Studien die Realitäten der Interventionseinstellung widerspiegeln . Insbesondere wurden community-basierte partizipative Ansätze empfohlen ., Während viele den Wert von Stakeholdern in den Lenkungsausschüssen und anderen ähnlichen Studiengruppen der Studie hervorhoben, warnten einige vor einer Überlastung zwischen Forschern und Stakeholdern und warnten auch davor, dass Forscher die Beteiligung von Stakeholdern mit qualitativer Forschung in Verbindung bringen .
“ Obwohl Patienten und öffentliche Vertreter in Forschungsteams hilfreiche Rückmeldungen zu der Intervention geben können, stellt dies keine qualitative Forschung dar und führt möglicherweise nicht zu ausreichend robusten Daten, um die angemessene Entwicklung der Intervention zu informieren.“(S. 8).,
Thema 8: Berichterstattung über explorative Studien
Detaillierte Empfehlungen für die Berichterstattung über explorative Studien wurden kürzlich in den Leitlinien new Consolidated Standards of Reporting Trials (CONSORT) von Eldridge et al. . Darüber hinaus wurden wiederkehrende Punkte von anderen Orientierungsquellen angesprochen. Insbesondere wurde empfohlen, explorative Studien in begutachteten Fachzeitschriften zu veröffentlichen, da dies anderen Forschern nützliche Informationen darüber liefern kann, was getan wurde, was nicht funktioniert hat und was am besten geeignet ist ., Eine explorative Studie kann auch zu mehreren Veröffentlichungen führen, sollte jedoch auf andere Arbeiten verweisen, die in derselben explorativen Studie durchgeführt wurden . Mehrere Quellen der Anleitung weisen auch darauf hin, dass explorative Studien im Titel/Abstract angemessen gekennzeichnet sein sollten, um eine einfache Identifizierung zu ermöglichen; Die vorgeschlagene Nomenklatur variiert jedoch je nach Anleitung .