Esaminare le statistiche
Quattro mila novantacinque unico record sono stati identificati, di cui 93 sono state riviste in full text (vedi Fig. 1). In totale, 30 documenti sono stati inclusi nella revisione sistematica che rappresentano 25 serie uniche di orientamenti., La maggior parte delle fonti di orientamento non identificava esplicitamente un pubblico destinato e l’orientamento variava nella sua rilevanza per la salute pubblica. La tabella 2 presenta una panoramica di tutte le fonti di orientamento incluse nel riesame con le fonti di orientamento più o meno rilevanti per la salute pubblica identificate, nonché quelle che si applicavano specificamente agli studi esplorativi con un disegno randomizzato.
Risultati di orientamento
incluso guida segnalata una vasta gamma di raccomandazioni sul processo di conduzione e reporting di studi esplorativi., Abbiamo categorizzato questi in otto temi che catturano: pre-requisiti per lo svolgimento di uno studio esplorativo, nomenclatura, guida per la valutazione dell’intervento, guida che circonda il futuro studio di valutazione design, adattivo vs disegni rigidi, criteri di progressione per studi esplorativi, coinvolgimento degli stakeholder e reporting.,
Descrizione narrativa dei temi
Tema 1: prerequisiti per lo svolgimento di uno studio esplorativo
Laddove menzionato, le attività preliminari comprendevano la determinazione della base di evidenze, la definizione delle basi teoriche per l’intervento, l’identificazione delle componenti dell’intervento e la modellazione dell’intervento al fine di comprendere come le componenti Questi sono stati spesso discussi nel contesto del ciclo di valutazione dello sviluppo degli interventi del MRC ., È stata inoltre evidenziata la comprensione di come i componenti di intervento interagiscono con varie impostazioni contestuali e l’identificazione di danni non intenzionali e potenziali problemi di implementazione. Vi è stata una mancanza di dettaglio nel giudicare quando queste condizioni di cui sopra sono state soddisfatte in modo sufficiente per passare a uno studio esplorativo.
Tema 2: nomenclatura
Una vasta gamma di termini sono stati utilizzati, a volte in modo intercambiabile, per descrivere gli studi esplorativi con il più comune essere sperimentazione pilota / studio. La tabella 3 mostra la frequenza dei termini utilizzati negli orientamenti, compresi gli altri termini approvati.,
Terminologia diversa non sembra essere coerentemente associata a scopi di studio specifici (vedi tema 3), come illustrato nella Tabella 2. Gli studi “pilota” e “di fattibilità” sono stati talvolta usati in modo intercambiabile, mentre altri hanno fatto distinzioni tra i due in base a caratteristiche progettuali o obiettivi particolari ., Ad esempio , alcuni hanno descritto gli studi pilota come una versione più piccola di un futuro RCT da eseguire in miniatura e talvolta è stato associato a un design randomizzato, ma non sempre . Al contrario, gli studi di fattibilità sono stati usati come termine ombrello da Eldridge et al. con studi pilota che rappresentano un sottoinsieme di studi di fattibilità: “Suggeriamo che i ricercatori considerino la fattibilità come un concetto generale, con tutti gli studi fatti in preparazione di uno studio principale che può essere chiamato studi di fattibilità e con studi pilota come sottoinsieme di studi di fattibilità.”pag. 18) .,
Gli studi di fattibilità potrebbero concentrarsi su particolari elementi di progettazione di interventi e prove che potrebbero non includere la randomizzazione . Gli studi pilota interni sono stati considerati principalmente come parte dello studio completo e pertanto non sono descritti nella nomenclatura nella tabella 3.
Mentre nessuna fonte ha esplicitamente affermato che uno studio esplorativo dovrebbe concentrarsi su un settore e non sull’altro, gli obiettivi e i metodi associati degli studi esplorativi divergevano in due temi distinti. Esse riguardavano sia l’esame dell’intervento stesso sia il progetto di valutazione futuro, e sono dettagliate di seguito nei temi 3 e 4.,
Tema 3: orientamenti per la valutazione dell’intervento
Fonti di orientamento studi esplorativi approvati aventi finalità formative (cioè raffinazione dell’intervento e risoluzione delle incertezze legate all’attuazione dell’intervento ) nonché obiettivi sommativi (vale a dire valutazione dell’impatto potenziale di un intervento o della sua promessa ).
Raffinazione dell’intervento e della teoria sottostante
Alcune linee guida hanno suggerito che potrebbero essere apportate modifiche all’interno di studi esplorativi per perfezionare l’intervento e la teoria sottostante e adattare il contenuto dell’intervento a una nuova impostazione ., Tuttavia, la guida non era chiara su ciò che costituiva cambiamenti minori rispetto a grandi cambiamenti e implicazioni per i criteri di progressione (vedi tema 6). Quando si apportano modifiche all’intervento o alla teoria sottostante, alcune linee guida raccomandano che ciò avvenga durante il corso dello studio esplorativo (vedi tema 5). Altri hanno evidenziato il ruolo di utilizzare un design multi-braccio per selezionare i contenuti dell’intervento prima di una valutazione completa e per valutare i potenziali meccanismi di più interventi o componenti di intervento diversi ., Diverse fonti hanno evidenziato il ruolo della ricerca qualitativa nell’ottimizzare o affinare un intervento, in particolare per comprendere le componenti del modello logico e far emergere aspetti nascosti dell’intervento importanti per ottenere risultati .
Attuazione dell’intervento
Vi è stato un accordo su una vasta gamma di orientamenti che studi esplorativi potrebbero esplorare le principali incertezze legate all’attuazione dell’intervento, come l’accettabilità, la fattibilità o la praticità. In particolare questi termini erano spesso mal definiti e usati in modo intercambiabile., L’accettabilità è stata considerata in termini di reazioni dei destinatari, mentre altri sono stati anche attenti alla fattibilità dal punto di vista dei fornitori di intervento, dei fornitori e degli operatori sanitari . L’attuazione, la fattibilità, la fedeltà e la “praticità” hanno esplorato la probabilità di essere in grado di realizzare nella pratica ciò che era previsto . Questi sono stati talvolta indicati come obiettivi all’interno di una valutazione del processo incorporato che ha avuto luogo accanto a uno studio esplorativo, anche se il termine valutazione del processo non è mai stato definito .,
La ricerca qualitativa è stata incoraggiata per la valutazione dell’accettabilità dell’intervento o per l’attuazione (ad esempio tramite osservazioni non partecipanti ). Si raccomanda cautela per quanto riguarda i focus group in cui vi è il rischio di mascherare opinioni divergenti . Altri hanno raccomandato indagini quantitative per esaminare i tassi di ritenzione e le ragioni dell’abbandono . Inoltre, diverse fonti hanno sottolineato l’importanza di testare l’attuazione in una serie di contesti, in particolare nei gruppi meno socioeconomicamente avvantaggiati, per esaminare il rischio di aumentare le disuguaglianze sanitarie .,
Una fonte di orientamento ha considerato se fosse necessaria la randomizzazione per valutare l’accettabilità dell’intervento, ritenendo che ciò non fosse necessario, ma suggerendo anche che potrebbe “dipendere potenzialmente dalla preferenza tra gli interventi offerti nello studio principale” (; p. 9). Pertanto, i problemi di accettabilità dell’intervento, in particolare all’interno di studi a più bracci, possono riguardare l’equipoise clinico e l’accettabilità delle procedure di randomizzazione tra i partecipanti .,
Adeguatezza della valutazione dell’impatto dell’intervento
Diverse fonti di orientamento hanno discusso la necessità di comprendere l’impatto dell’intervento, inclusi danni, benefici o conseguenze indesiderate . Gran parte degli orientamenti si è concentrata sui test statistici di efficacia con disaccordo sulla solidità di questo obiettivo, sebbene siano stati raccomandati anche metodi qualitativi . Alcuni hanno condannato i test statisticamente per l’efficacia, in quanto tali studi sono spesso sottodimensionati, portando quindi a stime imprecise e potenzialmente fuorvianti delle dimensioni degli effetti ., Altri hanno sostenuto che una stima della probabile dimensione dell’effetto potrebbe dimostrare che l’intervento stava funzionando come previsto e non aveva gravi danni non intenzionali e quindi essere utilizzato per calcolare la potenza per la prova completa . Gli orientamenti successivi del MRC sono più ambigui di quelli precedenti, affermando che le stime dovrebbero essere interpretate con cautela, mentre allo stesso tempo indicano ipotesi “sicure” delle dimensioni degli effetti come prerequisito prima di continuare a una valutazione completa ., Le linee guida NIHR, che distinguevano tra studi pilota e studi di fattibilità, sostenevano la valutazione di un risultato primario negli studi pilota, anche se non è chiaro se ciò suggerisca che un pilota dovrebbe comportare una prova iniziale dei cambiamenti nel risultato primario, o semplicemente che il risultato primario dovrebbe essere misurato nello stesso modo in cui sarebbe in una valutazione completa. Al contrario, per gli “studi di fattibilità”, ha indicato che un obiettivo può includere la progettazione di una misura di risultato da utilizzare in una valutazione completa.,
Altri hanno sostenuto la necessità di identificare prove di potenziale efficacia, compreso l’uso di endpoint provvisori o surrogati , definiti come “variabili…sulla via causale di quello che potrebbe essere il risultato primario nel futuro RCT definitivo, o risultati in punti temporali precoci, al fine di valutare il potenziale per l’intervento di influenzare i probabili risultati nel futuro RCT definitivo…” (p. 14).,
Randomizzazione è stata implicita come una funzionalità di progettazione di studi esplorativi quando si stima un effetto di stima della dimensione dell’intervento come massimizzare la probabilità che le differenze osservate siano dovute all’intervento , con la guida, la maggior parte scritti da un assunto di partenza che completa la valutazione avrà la forma di un RCT e di orientamento focalizzato meno esplorativo studi quasi-sperimentali o ad altri disegni., Per gli studi che mirano a valutare l’efficacia potenziale utilizzando un risultato surrogato o intermedio, è stato raccomandato l’uso di un calcolo standard della dimensione del campione per garantire una potenza adeguata, sebbene sia stato osservato che questo obiettivo è raro negli studi esplorativi .
Tema 4: orientamenti per il futuro progetto di valutazione
Le fonti hanno costantemente sostenuto la valutazione della fattibilità delle procedure di studio o la stima dei parametri della valutazione futura. Le raccomandazioni sono dettagliate di seguito.,
Valutazione della fattibilità del progetto di valutazione futuro
La valutazione della fattibilità delle future procedure di valutazione è stata comunemente raccomandata per evitare problemi che potrebbero compromettere la condotta o l’accettabilità della valutazione futura . È stata suggerita una vasta gamma di procedure che richiedono valutazioni di fattibilità , tra cui la raccolta dei dati , le strategie di fidelizzazione dei partecipanti , la randomizzazione , i metodi di reclutamento , l’esecuzione del protocollo di prova completo, la disponibilità dei partecipanti a essere randomizzati e le questioni di contaminazione ., C’era disaccordo sull’opportunità di valutare l’accecamento negli studi esplorativi , con una fonte che notava che il doppio accecamento è difficile quando i partecipanti sono assistiti nel cambiare il loro comportamento; anche se la valutazione del singolo accecamento può essere possibile .
Sono stati approvati metodi qualitativi , quantitativi e misti per la valutazione di questi processi. Riflettendo la tendenza a limitare l’orientamento degli studi esplorativi agli studi preparatori agli RCT, la discussione sul ruolo della randomizzazione nella fase dello studio esplorativo è stata molto importante negli orientamenti., La randomizzazione nell’ambito di uno studio esplorativo è stata ritenuta necessaria per esaminare la fattibilità del reclutamento, il consenso alla randomizzazione, il mantenimento, la contaminazione o il mantenimento della cecità nei gruppi di controllo e di intervento, le procedure di randomizzazione e se tutte le componenti di un protocollo possono funzionare insieme, sebbene la randomizzazione non sia stata ritenuta necessaria per valutare l’onere dei risultati e l’ammissibilità dei partecipanti ., Mentre c’era consenso su quali problemi potevano essere valutati attraverso la randomizzazione, le fonti non erano d’accordo sul fatto che la randomizzazione dovesse sempre precedere un futuro studio di valutazione, anche se quello futuro studio dovesse essere un RCT. La contesa sembrava essere legata alla variazione della nomenclatura e degli obiettivi associati. Ad esempio, alcuni studi pilota definiti come uno studio eseguito in miniatura per testare come tutti i suoi componenti lavorano insieme, dettando così un design randomizzato . Tuttavia, per gli studi di fattibilità, la randomizzazione era necessaria solo se riduceva le incertezze nella stima dei parametri per la valutazione futura ., Allo stesso modo, altri orientamenti hanno evidenziato che uno studio esplorativo (indipendentemente dalla nomenclatura) dovrebbe affrontare le principali incertezze e quindi potrebbe non dipendere dalla randomizzazione .
Stima dei parametri del progetto di valutazione futuro
Mentre i metodi qualitativi sono stati ritenuti utili per selezionare i risultati e le loro misure adeguate , la maggior parte delle linee guida si è concentrata sui metodi quantitativi per stimare le dimensioni future del campione di valutazione., Ciò è stato controverso a causa del potenziale di sovrastimare o sottovalutare le dimensioni del campione richieste in una valutazione futura a causa della mancanza di precisione delle stime da parte di un piccolo pilota . La stima delle dimensioni del campione dalle stime delle dimensioni degli effetti in uno studio esplorativo è stata tuttavia sostenuta da alcuni come utile se c’era scarsa letteratura e lo studio esplorativo ha utilizzato lo stesso design e risultato della valutazione futura . I Cluster RCT, che sono comuni negli interventi di sanità pubblica, sono stati specificamente assegnati come inadatti alla stima dei parametri per i calcoli delle dimensioni del campione (ad es., coefficienti di correlazione intra-cluster) nonché tassi di reclutamento e di follow-up senza ulteriori informazioni da altre risorse, perché sarebbe necessario un gran numero di cluster e singoli partecipanti . Altri hanno fatto riferimento alle “regole empiriche” nel determinare le dimensioni del campione in uno studio esplorativo con numeri che variano tra 10 e 75 partecipanti per braccio di prova in studi randomizzati individualmente ., Diversi hanno anche raccomandato la necessità di considerare una differenza significativa desiderata nei risultati di salute da una valutazione futura e la dimensione del campione appropriata necessaria per rilevare questo, piuttosto che condurre calcoli di dimensione del campione utilizzando stime di probabile dimensione dell’effetto da dati pilota .
Un progetto randomizzato è stato ritenuto non necessario per stimare i costi o selezionare i risultati, sebbene sia stato valutato per stimare i tassi di assunzione e di ritenzione per i gruppi di intervento e di controllo ., Qualora le linee guida indicassero la stima di una dimensione dell’effetto appropriata per informare la dimensione del campione per una valutazione futura, si è ritenuto necessario un progetto randomizzato .
Tema 5: flexible vs. fixed design
Le fonti hanno affermato che gli studi esplorativi potrebbero impiegare un design rigido o flessibile. Con quest’ultimo, il design può cambiare durante il corso dello studio, che è utile per apportare modifiche all’intervento, così come il futuro design di valutazione ., Qui, i dati qualitativi possono essere analizzati man mano che vengono raccolti, modellando il processo di studio esplorativo, ad esempio campionando i successivi punti di raccolta dei dati e chiarendo le implicazioni per l’efficacia dell’intervento .
Al contrario, sono stati incoraggiati studi esplorativi fissi quando si esaminavano principalmente i parametri e i processi di valutazione futuri . È possibile che la nomenclatura utilizzata in alcune linee guida (ad esempio studi pilota descritti come versioni miniaturizzate della valutazione) suggerisca una distinzione tra disegni più flessibili e disegni più rigorosi., In alcune linee guida, non è stato menzionato se le modifiche debbano essere apportate nel corso di uno studio esplorativo o successivamente, al fine di ottenere il miglior design possibile per la valutazione futura .
Tema 6: criteri di progressione per uno studio di valutazione futuro
Sono state fornite poche indicazioni su ciò che dovrebbe essere considerato quando si formulano i criteri di progressione per continuare su uno studio di valutazione futuro., Alcuni si sono concentrati sulle pertinenti incertezze di fattibilità, mentre altri hanno evidenziato elementi specifici riguardanti il rapporto costo-efficacia, il raffinamento delle ipotesi causali da testare in una valutazione futura e il raggiungimento degli obiettivi di assunzione . Come discusso nei temi 3 e 4, i test statisticamente per l’efficacia e l’utilizzo delle dimensioni degli effetti per i calcoli di potenza sono stati avvertiti da alcuni, e quindi i criteri basati sulle dimensioni degli effetti non sono stati specificati .
Una maggiore discussione è stata dedicata a come ponderare le prove da uno studio esplorativo che ha affrontato molteplici obiettivi e utilizzato metodi diversi., Alcuni criteri di progressione esplicitamente dichiarati non dovrebbero essere giudicati come soglie rigorose ma come linee guida utilizzando, ad esempio, un sistema di semafori con diversi livelli di accettabilità . Altri hanno evidenziato un approccio realista, allontanandosi dagli indicatori binari per concentrarsi su “ciò che è fattibile e accettabile per chi e in quali circostanze”. Alla luce delle difficoltà legate all’interpretazione delle stime degli effetti, diverse fonti raccomandano che i risultati qualitativi degli studi esplorativi siano più influenti dei risultati quantitativi .,
È interessante notare che c’era ambiguità riguardo alla progressione quando i risultati esplorativi indicavano modifiche sostanziali al progetto di intervento o di valutazione. Le fonti che hanno preso in considerazione questo problema hanno suggerito che se vengono apportate “modifiche estese” o “modifiche importanti” a entrambi (si noti che non hanno specificato ciò che è qualificato come tale), i ricercatori dovrebbero tornare alle fasi di sviluppo esplorativo o di intervento .,
‘In alternativa, nella fase di fattibilità, i ricercatori possono identificare problemi fondamentali con l’intervento o la condotta di prova e tornare alla fase di sviluppo piuttosto che procedere a una prova completa.”pag. 1) ’
Come descritto in precedenza, tuttavia, la soglia alla quale le modifiche sono determinate come “maggiori” è rimasta ambigua., Mentre la guida MRC aggiornata si è spostata su un modello più iterativo, accettando che a volte potrebbe essere necessario un ritorno tra fattibilità/pilotaggio e sviluppo dell’intervento, non vi era alcuna guida su quali condizioni dovrebbe avvenire il movimento tra queste due fasi.
Tema 7: coinvolgimento degli stakeholder
Diverse fonti hanno raccomandato una serie di stakeholder (ad es., i fornitori di intervento, i destinatari dell’intervento, i rappresentanti pubblici e i professionisti che potrebbero utilizzare le prove prodotte dalla sperimentazione completa) sono coinvolti nella pianificazione e nella gestione dello studio esplorativo per garantire che gli studi esplorativi riflettano le realtà dell’impostazione dell’intervento . In particolare, sono stati raccomandati approcci partecipativi basati sulla comunità ., Mentre molti hanno sottolineato il valore delle parti interessate nei comitati direttivi di prova e in altri gruppi di studio simili , alcuni hanno messo in guardia sull’equipoise tra ricercatori e parti interessate e hanno anche messo in guardia contro i ricercatori che confondono il coinvolgimento delle parti interessate con la ricerca qualitativa .
‘Sebbene i rappresentanti dei pazienti e del pubblico nei gruppi di ricerca possano fornire un feedback utile sull’intervento, ciò non costituisce una ricerca qualitativa e potrebbe non risultare in dati sufficientemente solidi da informare l’appropriato sviluppo dell’intervento.”pag. 8) ’ ,
Tema 8: reporting of exploratory studies
Raccomandazioni dettagliate per la segnalazione di studi esplorativi sono state recentemente fornite in new Consolidated Standards of Reporting Trials (CONSORT) guidance di Eldridge et al. . Oltre a questo, punti ricorrenti sono stati sollevati da altre fonti di orientamento. In particolare, è stato raccomandato di pubblicare studi esplorativi su riviste peer-reviewed in quanto ciò può fornire informazioni utili ad altri ricercatori su ciò che è stato fatto, ciò che non ha funzionato e ciò che potrebbe essere più appropriato ., Uno studio esplorativo può anche portare a pubblicazioni multiple, ma dovrebbe fornire riferimento ad altri lavori svolti nello stesso studio esplorativo . Diverse fonti di orientamento sottolineano inoltre che gli studi esplorativi dovrebbero essere opportunamente etichettati nel titolo/abstract per consentire una facile identificazione; tuttavia, la nomenclatura suggerita variava a seconda degli orientamenti .