Omtale statistikk
Fire tusen ninety-fem unike poster ble identifisert, hvorav 93 ble gjennomgått i full tekst (se Fig. 1). I alt 30 dokumenter som var inkludert i den systematiske gjennomgangen som representerer 25 unike sett av veiledning., De fleste kilder til veiledning ikke eksplisitt identifisere beregnet på publikum og veiledning variert i sin relevans for folkehelsen. Tabell 2 viser en oversikt over alle kilder til veiledning inkludert i gjennomgangen med kilder til veiledning mer eller mindre relevante for folkehelsen identifisert så vel som de som er spesielt brukt til utforskende studier med randomisert design.
Flow diagram
Funn fra veiledning
Den medfølgende veiledning rapportert en rekke anbefalinger om prosessen med å gjennomføre og rapportere utforskende studier., Vi kategorisert disse inn i åtte temaer som fanger opp: forutsetninger for å gjennomføre en utforskende studie, nomenklatur, veiledning for intervensjon vurdering, veiledning rundt fremtidig evaluering studie design, adaptive vs stive design, progresjon kriterier for utforskende studier medvirkning av interessenter og rapportering.,
Narrativ beskrivelse av temaer
Tema 1: forutsetninger for å gjennomføre en utforskende studie
Hvor er nevnt, forutsetning aktiviteter inkludert fastsettelse av kunnskapsgrunnlaget, opprettelse av det teoretiske grunnlag for intervensjon, å identifisere intervensjon komponenter samt modellering av intervensjon for å forstå hvordan intervensjon komponenter samhandler og innvirkning på det endelige utfall . Disse ble ofte diskutert i sammenheng med MRC er intervensjon utvikling-evaluering syklus ., Forstå hvordan intervensjon komponenter samhandler med ulike kontekstuelle innstillinger og identifisere utilsiktede skader samt potensielle implementering spørsmål ble også fremhevet. Det var et fravær av detaljer i å dømme når disse ovennevnte vilkårene var oppfylt i tilstrekkelig grad for å flytte på en utforskende studie.
Tema 2: nomenklatur
Et bredt spekter av vilkårene som ble brukt, noen ganger om hverandre, og til å beskrive utforskende studier med det mest vanlig å bli pilot trial/studie. Tabell 3 viser frekvensen av de begreper som brukes i veiledning, inkludert andre vilkår godkjent.,
Annen terminologi heller ikke synes å være konsekvent knyttet til bestemte studier formål (se tema 3), som vist i Tabell 2. ‘Pilot’ og ‘gjennomføring’ studier ble noen ganger brukt om hverandre, mens andre laget forskjeller mellom de to i henhold til design, funksjoner eller bestemt mål ., For eksempel, noen beskrev pilotstudier som en mindre versjon av en fremtidig RCT til å kjøre i miniatyr, og ble noen ganger assosiert med et randomisert design , men ikke alltid . I kontrast, forundersøkelser ble brukt som et samlebegrep av Eldridge et al. med pilot studier som representerer en undergruppe av forundersøkelser : «Vi foreslår at forskerne vise mulighetene som et overordnet konsept, med alle studier som er gjort i forberedelsene til en hovedundersøkelse åpen for å bli kalt forundersøkelser, og med pilot-studier som en undergruppe av forundersøkelser.'(s. 18) .,
forundersøkelser kunne fokusere på en bestemt intervensjon og rettssaken design elementer som ikke inkluderer randomisation . Interne pilot studier ble først og fremst sett som en del av full prøving og er derfor ikke avbildet under nomenklatur i Tabell 3.
Mens ingen kilder uttrykkelig uttalt at en utforskende studie bør fokusere på ett område og ikke andre, mål og tilhørende metoder for utforskende studier skilte seg i to separate temaer. De gjaldt enten å undersøke intervensjon i seg selv eller den fremtidige evaluering design, og er beskrevet nedenfor i tema 3 og 4.,
Tema 3: veiledning for intervensjon vurdering
Kilder til veiledning godkjent utforskende studier har grunnleggende formål (dvs. raffinering intervensjon og adressering usikkerhet knyttet til intervensjon implementering ) så vel som summativ mål (dvs. vurdering av den potensielle effekten av en intervensjon eller dets lover ).
Raffinering intervensjon og underliggende teori
Noen veiledning foreslått at endringene kan gjøres i utforskende studier for å avgrense inngrep og underliggende teori og tilpasse intervensjon innhold til en ny innstilling ., Imidlertid, veiledning var ikke klar på hva som var små vs. store endringer og konsekvenser for progresjon kriterier (se tema 6). Når du gjør endringer til intervensjon eller underliggende teori, noen veiledning anbefalte dette skje i løpet av den utforskende studie (se tema 5). Andre understreket rollen ved hjelp av en multi-arm design å velge innholdet i intervensjonen før en full evaluering og for å vurdere mulige mekanismer av flere ulike tiltak eller inngrep komponenter ., Flere kilder markert rolle i kvalitativ forskning i optimering, eller raffinering en intervensjon, spesielt for å forstå deler av den logiske modellen og overflatebehandling skjulte aspekter av intervensjon er viktig for å levere resultater .
Intervensjon implementering
Det var enighet på tvers av et bredt spekter av veiledning som utforskende studier kunne utforske tasten usikkerhet knyttet til intervensjon gjennomføring, for eksempel aksept, gjennomførbarhet og praktiske løsninger. Spesielt disse vilkårene var ofte dårlig definert og brukes om hverandre., Aksept ble vurdert i forhold til mottakernes reaksjoner mens andre ble også oppmerksomme på muligheten fra perspektivet av intervensjon leverandører, deliverers og helsepersonell . Implementering, gjennomføring, troskap og ‘praktisk’ utforsket sannsynligheten for å være i stand til å levere i praksis hva som var ment . Dette var noen ganger referert til som har som mål innen en innebygd prosess evaluering som fant sted sammen med en utforskende studie, selv om begrepet prosess evaluering aldri ble definert .,
Kvalitativ forskning ble oppfordret for vurdering av inngrep aksept eller for gjennomføring (f.eks. via ikke-deltakende observasjon ). Forsiktig ble anbefalt med hensyn til fokus-grupper der det er en risiko for maskering divergerende synspunkter . Andre anbefalte kvantitative undersøkelser for å undersøke oppbevaring priser og årsaker til frafall . Videre, flere kilder understreket viktigheten av testing implementering i en rekke sammenhenger —særlig i mindre socioeconomically advantaged grupper, for å undersøke risikoen for å utvide helse ulikhetene .,
En kilde til veiledning vurdert om randomisation var nødvendig for å vurdere intervensjon aksept, å tro at dette skal være unødvendig, men også noe som tyder på at det kan ‘potensielt avhengig av preferanse blant tiltak som tilbys i den viktigste rettssaken’ (; p. 9). Dermed problemer av intervensjon aksept, spesielt i multi-arm prøvelser, som kan relatere seg til kliniske equipoise og aksept av randomisation prosedyrer blant deltakerne .,
Hensiktsmessigheten av å vurdere intervensjon innvirkning
Flere kilder til veiledning diskutert behovet for å forstå effekten av intervensjonen, inkludert skader, fordeler eller utilsiktede konsekvenser . Mye av den veiledning som fokuserer på statistiske tester av effektiviteten med uenighet på fasthet av dette målet, selv om kvalitative metoder ble også anbefalt . Noen dømt statistisk testing for effektiviteten , så slike studier er ofte for svak, dermed fører til upresis og potensielt villedende anslag av effekt størrelser ., Andre hevdet at en beregning av sannsynlighet for effekt-størrelse kan bevis for at tiltaket fungerer etter hensikten og ikke å ha alvorlige utilsiktede skader, og dermed brukes til å beregne kraften for full prøving . Senere veiledning fra MRC er mer uklar enn tidligere veiledning, sier at estimatene bør tolkes med varsomhet, samtidig som sier ‘trygt’ antagelser om effekten størrelser som en forutsetning før du fortsetter til en full evaluering ., NIHR veiledning, som skilte mellom pilot og forundersøkelser, støttet vurdering av en primær utfallet i pilot-studier, selv om det er uklart om dette er noe som tyder på at en pilot som skulle innebære en innledende test av endringer i de primære utfallet, eller rett og slett som det primære resultatet skal måles på samme måte som det ville være i en full evaluering. I kontrast til dette, for «forundersøkelser», er det angitt som et mål som kan inkludere å utforme et resultat som mål å bli brukt i en full evaluering.,
Andre laget saken for å identifisere dokumentasjon av potensielle effektiviteten, inkludert bruk av midlertidig eller surrogat endepunkter , definert som » …variabler på kausale vei av hva som kan til slutt være den primære utfallet i fremtiden definitive RCT, eller utfall i tidlig tid poeng, for å vurdere mulighetene for intervensjon for å påvirke sannsynlig utfall i fremtiden definitive RCT…’ (s. 14).,
Randomisation ble det antydet som en design som funksjon av utforskende studier når estimere en effekt størrelse estimat av inngrep som det optimale sannsynligheten for at observerte forskjeller skyldes intervensjon , med veiledning for det meste skrevet fra en starter en antakelse om at full evaluering vil ta form av en RCT og veiledning fokusert mindre på utforskende studier for kvasi-eksperimentell eller andre motiver., For studier som tar sikte på å vurdere mulige effektivitet ved hjelp av en surrogat eller midlertidig utfallet, ved hjelp av et eksempel standard størrelse beregningen ble anbefalt for å sikre tilstrekkelig kraft, selv om det ble bemerket at dette målet er sjeldne i utforskende studier .
Tema 4: veiledning rundt fremtidig evaluering design
Kilder konsekvent til orde vurdering av gjennomførbarhet av undersøkelse prosedyrer eller estimere parametrene for fremtidig evaluering. Anbefalinger er beskrevet nedenfor.,
å Vurdere gjennomførbarheten av fremtidig evaluering design
å Vurdere muligheten for fremtidig evaluering, ble ofte anbefalt for å unngå problemer som kan undergrave atferd eller aksept av fremtidig evaluering . Et bredt spekter av prosedyrer ble foreslått som krever vurdering av gjennomførbarhet, inkludert datainnsamling , deltaker oppbevaring strategier , randomisation , rekruttering metoder , kjører full prøveversjon protokollen , vilje til deltakerne til å bli randomisert og problemer av forurensning ., Det var uenighet om hensiktsmessigheten av å vurdere blinding i utforskende studier , med én kilde merke seg dobbel blinding er vanskelig når deltakerne blir hjulpet i å endre sin atferd, selv om fastsetting enkelt blinding kan være mulig .
Kvalitative , kvantitative og blandet metoder var godkjent for å vurdere disse prosessene. Noe som gjenspeiler tendensen for veiledning av utforskende studier til å være begrenset til studier i forberedelse for RCTs, drøfting av rollen som randomisation på en utforskende studie scenen omtalt tungt i veiledning., Randomisation i en utforskende studie ble ansett som nødvendig for å undersøke mulighetene for rekruttering, samtykke til randomisation, oppbevaring, forurensning eller vedlikehold av blinding i kontroll-og intervensjon grupper, randomisation prosedyrer og om alle komponentene i en protokoll som kan jobbe sammen, selv om randomisation ble ikke ansett nødvendig for å vurdere utfallet byrde og deltaker er kvalifisert ., Mens det var konsensus om hvilke saker kunne bli vurdert gjennom randomisation, kilder uenige om hvorvidt randomisation bør alltid gå forut for en fremtidig evaluering studere, selv om det fremtidige studier er å være en RCT. Påstand så ut til å være knyttet til variasjon i nomenklatur og tilhørende mål. For eksempel, noen definert pilotstudie som en studie kjøre i miniatyr for å teste hvordan alle komponentene fungerer sammen, og dermed ikke kan diktere en randomisert design . Men for forundersøkelser, randomisation var bare nødvendig hvis det redusert usikkerhet i estimering av parametere for fremtidig evaluering ., På samme måte, andre veiledning markert en utforskende studie (uavhengig av nomenklatur) bør ta den største usikkerheten, og dermed kan ikke stole på randomisation .
Estimere parametrene i fremtiden evaluering design
Mens kvalitative metoder ble ansett som nyttige for å velge utfall og deres egnede tiltak , de fleste veiledning konsentrert om kvantitative metoder for å beregne fremtidige evaluering eksempel størrelser., Dette var omstridt på grunn av potensial til å over – eller undervurdere eksempel størrelser kreves i en fremtidig evaluering på grunn av mangel på presisjon i estimatene fra en liten pilot . Estimering eksempel størrelser fra effekt-størrelse estimater i en utforskende studie var det likevel hevdes av noen å være nyttig hvis det var lite litteratur og utforskende studie brukte samme design og utfallet som fremtidig evaluering . Klyngen RCTs, som er vanlig i det offentlige helsetiltak, var spesielt øremerket som uegnet for å estimere parametere for eksempel størrelse beregninger (f.eks., intra-klyngen korrelasjon koeffisienter), samt rekruttering og oppfølging priser uten ytterligere informasjon fra andre ressurser, fordi et stort antall grupper og individuelle deltakere ville være nødvendig . Andre referert til «tommelfingerregler’ ved fastsettelse av utvalgene i en utforskende studie med tall som varierer mellom 10 og 75 deltakere per rettssaken arm i individuelt randomiserte studier ., Flere anbefalte også behov for å vurdere en ønsket meningsfull forskjell i helse-resultater fra en fremtidig evaluering og den aktuelle utvalgsstørrelse som trengs for å oppdage dette, heller enn å gjennomføre prøven størrelse beregninger ved hjelp av anslag for sannsynlig effekt størrelse fra pilot data .
En randomisert design ble ansett som unødvendige for å estimere kostnader eller velge utfall, selv om det ble vurdert for å estimere rekruttering og oppbevaring priser til intervensjon og kontroll grupper ., Hvor veiledning er angitt estimering av en effekt størrelse som passer til å informere eksempel størrelse for en fremtidig evaluering, en randomisert design ble ansett nødvendig .
Tema 5: fleksibel vs. fast design
Kilder opplyst at utforskende studier kunne ansette en stiv eller fleksibel design. Med sistnevnte, design kan endres i løpet av studiet, noe som er nyttig for å gjøre endringer til intervensjon, samt fremtidig evaluering design ., Her kvalitative data kan analyseres som det er samlet inn, forme den utforskende studie prosessen, for eksempel prøvetaking av påfølgende datainnsamling poeng , og klargjørende implikasjoner for intervensjon effektivitet .
I motsetning til fast utforskende studier ble oppmuntret da først og fremst å undersøke fremtiden evaluering parametere og prosesser . Det kan være at nomenklatur brukt i noen veiledning (f.eks. pilotstudier som er beskrevet som miniatyr versjoner av evalueringen) er noe som tyder på et skille mellom mer fleksibel vs. strengere design., I noen veiledning, det ble ikke nevnt om det bør gjøres endringer i løpet av en utforskende studie-eller etterpå, for å få best mulig design for fremtiden evaluering .
Tema 6: progresjon kriterier for en fremtidig evaluering studie
Litt veiledning ble gitt på hva som bør vurderes når formulere progresjon kriterier for du fortsetter på en fremtidig evaluering studie., Noen fokuserer på relevante usikkerhetsmomenter av gjennomførbarhet , mens andre merke spesifikke elementer som gjelder kostnadseffektivitet , raffinering årsakssammenheng hypoteser som skal testes i en fremtidig evaluering og møte rekruttering mål . Som omtalt i tema 3 og 4, statistisk testing for effektivitet og bruk av effekt størrelser for strøm beregninger ble bedt av noen, og slik kriterier basert på effekten størrelser ble ikke spesifisert .
Større diskusjon ble viet til hvordan vekt bevis fra en utforskende studie som omhandlet flere mål og brukt forskjellige metoder., Noen eksplisitt progresjon kriterier bør ikke bli dømt som strenge grenser, men som retningslinjer ved hjelp av for eksempel et trafikklys-system med varierende grad av aksept . Andre fremhevet en realistisk tilnærming, beveger seg bort fra binære indikatorer for å fokusere på «hva som er mulig og akseptabelt for hvem og under hvilke omstendigheter’ . I lys av de vanskeligheter rundt tolkning av effekten estimater fra flere kilder anbefales kvalitative funn fra utforskende studier bør være mer innflytelsesrike enn kvantitative funn .,
det er Interessant, det var tvetydighet om progresjon når utforskende funnene indikerte betydelige endringer til intervensjon eller evaluering design. Kilder vurderer dette problemet foreslo at hvis «omfattende endringer» eller «store endringer» er laget enten (merk de ikke angi hva som kvalifisert som sådan), forskere bør gå tilbake til den utforskende eller intervensjon utvikling faser .,
‘Alternativt kan du på gjennomførbarhet fase, forskere kan identifisere grunnleggende problemer med innblanding eller prøve å gjennomføre og gå tilbake til utviklingsfasen heller enn å gå til en full prøving.'(s. 1) .
Som beskrevet tidligere, men terskelen på hvilke endringer som er fast bestemt på å være ‘store’ forble uklart., Mens oppdatert MRC veiledning flyttet til en mer iterativ modell, aksepterer at bevegelsen tilbake mellom gjennomførbarhet/pilotering og intervensjon utvikling kan noen ganger være nødvendig, det var ingen veiledning om under hvilke betingelser bevegelse mellom disse to stadiene bør finne sted.
Tema 7: medvirkning av interessenter
Flere kilder anbefalt en rekke interessenter (f.eks., intervensjon leverandører, intervensjon mottakere, offentlige representanter samt utøvere som kan bruke bevis som er produsert av full prøveversjon) være involvert i planleggingen og driften av den utforskende studie for å sikre utforskende studier gjenspeiler realitetene av intervensjon innstillingen . I særdeleshet, community-basert deltakende tilnærminger ble anbefalt ., Mens mange fremhevet verdien av interessenter på prøve styringsgruppene og andre lignende studie grupper , noen advarte om equipoise mellom forskere og interessenter, og også advart mot forskere conflating medvirkning av interessenter med kvalitativ forskning .
» Selv om pasienten og offentlige representanter på forskning lagene kan gi nyttig tilbakemelding på intervensjon, og dette utgjør ikke kvalitativ forskning, og kan ikke resultere i en tilstrekkelig robust data til å informere den aktuelle utvikling av intervensjonen.'(s. 8) .,
Tema 8: rapportering av utforskende studier
Detaljerte anbefalinger for rapportering utforskende studier ble nylig gitt i ny Konsolidert Standarder for Rapportering Studier (HUSTRU) veiledning av Eldridge et al. . I tillegg til dette, tilbakevendende poeng ble tatt opp av andre kilder til veiledning. Særlig ble det anbefalt utforskende studier publiseres i fagfellevurderte tidsskrifter som dette kan gi nyttig informasjon til andre forskere på hva som har vært gjort, hva som ikke fungerte og hva som kan være mest hensiktsmessig ., En utforskende studie kan også resultere i flere publikasjoner, men bør gi referanse til andre arbeid som er utført i den samme utforskende studie . Flere kilder til veiledning også fremheve at utforskende studier skal være hensiktsmessig merket i tittel/abstract for å aktivere enkel identifisering, men nomenklatur foreslått variert avhengig av veiledning .