Översiktsstatistik
fyra tusen nittiofem unika register identifierades av vilka 93 granskades i fulltext (se Fig. 1). Totalt ingick 30 dokument i den systematiska översynen som representerade 25 unika uppsättningar vägledning., De flesta vägledningskällor identifierade inte uttryckligen en avsedd publik och vägledning varierade i sin relevans för folkhälsan. I tabell 2 ges en översikt över alla vägledningskällor som ingår i översynen med vägledande källor som är mer eller mindre relevanta för folkhälsan och de som specifikt tillämpas på undersökande studier med en randomiserad utformning.
flödesschema
resultat från Vägledning
den medföljande vägledningen rapporterade ett brett spektrum av rekommendationer om processen att genomföra och rapportera undersökande studier., Vi kategoriserade dessa i åtta teman som fångar: förutsättningar för att genomföra en undersökande studie, nomenklatur, vägledning för interventionsbedömning, vägledning kring framtida utvärderingsstudiedesign, adaptiva vs styva mönster, progressionskriterier för undersökande studier, intressenternas engagemang och rapportering.,
berättande beskrivning av teman
tema 1: förutsättningar för att genomföra en undersökande studie
där nämndes omfattade de nödvändiga aktiviteterna fastställande av bevisbasen, fastställande av den teoretiska grunden för interventionen, identifiering av interventionskomponenterna samt modellering av interventionen för att förstå hur interventionskomponenterna interagerar och påverkar slutresultatet . Dessa diskuterades ofta inom ramen för MRC: s utvärderingscykel för interventionsutveckling ., Förstå hur interventionskomponenter interagerar med olika kontextuella inställningar och identifiera oavsiktliga skador samt potentiella implementeringsfrågor lyftes också fram. Det fanns ingen detalj i bedömningen när dessa ovanstående villkor uppfylldes tillräckligt för att gå vidare till en undersökande studie.
tema 2: nomenklatur
ett brett spektrum av termer användes, ibland utbytbart, för att beskriva undersökande studier med det vanligaste som pilotförsök / studie. Tabell 3 visar frekvensen av de termer som används i Vägledning, inklusive andra termer som godkänts.,
annan terminologi verkade inte vara konsekvent associerad med specifika studieändamål (se tema 3), Såsom visas i Tabell 2. ”Pilotstudier” och ”genomförbarhetsstudier” användes ibland omväxlande, medan andra gjorde åtskillnad mellan de två enligt konstruktionsegenskaper eller särskilda mål., Till exempel beskrev några pilotstudier som en mindre version av en framtida RCT att köra i miniatyr och var ibland förknippad med en randomiserad design , men inte alltid . Däremot användes genomförbarhetsstudier som en paraplyterm av Eldridge et al. med pilotstudier som representerar en delmängd av genomförbarhetsstudier: ”vi föreslår att forskare ser genomförbarhet som ett övergripande koncept, med alla studier som gjorts för att förbereda en huvudstudie öppen för att kallas genomförbarhetsstudier, och med pilotstudier som en delmängd av genomförbarhetsstudier.”(s. 18) .,
genomförbarhetsstudier kan inriktas på särskilda insats-och försöksdesignelement som kanske inte omfattar randomisering . Interna pilotstudier betraktades främst som en del av hela försöket och avbildas därför inte i nomenklaturen i tabell 3.
även om inga källor uttryckligen uppgav att en undersökande studie bör fokusera på ett område och inte det andra, mål och därmed förbundna metoder för undersökande studier skilde sig åt i två separata teman. De gällde antingen att undersöka själva ingripandet eller den framtida utvärderingsdesignen, och beskrivs nedan i temaområdena 3 och 4.,
Tema 3: vägledning för bedömning av insatser
källor till vägledning godkände förberedande studier med formativa syften (dvs. att förfina interventionen och ta itu med osäkerheter i samband med genomförandet av insatser) samt sammanfattande mål (dvs. att bedöma den potentiella effekten av en insats eller dess löfte ).
raffinering av intervention och underliggande teori
vissa riktlinjer föreslog att ändringar skulle kunna göras inom undersökande studier för att förfina intervention och underliggande teori och anpassa interventionsinnehållet till en ny miljö ., Vägledning var dock inte tydlig om vad som utgjorde mindre jämfört med större förändringar och konsekvenser för progressionskriterierna (se Tema 6). Vid ändringar av intervention eller underliggande teori rekommenderade viss vägledning detta ske under den förberedande studien (se tema 5). Andra betonade betydelsen av att använda en flerarmad design för att välja innehållet i insatsen innan en fullständig utvärdering och för att bedöma potentiella mekanismer för flera olika insatser eller interventionskomponenter ., Flera källor betonade betydelsen av kvalitativ forskning när det gäller att optimera eller förfina ett ingripande, särskilt för att förstå komponenterna i logikmodellen och visa dolda aspekter av insatsen som är viktiga för att uppnå resultat .
Interventionsgenomförande
det fanns en överenskommelse i en rad riktlinjer om att undersökande studier skulle kunna undersöka viktiga osäkerheter i samband med interventionsgenomförande, såsom acceptans, genomförbarhet eller praktiska egenskaper. Särskilt dessa termer var ofta dåligt definierade och används omväxlande., Acceptans övervägdes när det gäller mottagarnas reaktioner, medan andra också var uppmärksamma på genomförbarheten ur interventionsleverantörernas, leverantörernas och vårdpersonalens perspektiv . Genomförande, genomförbarhet, trohet och ”praktiska” undersökte sannolikheten för att kunna leverera i praktiken vad som var avsett . Dessa kallades ibland som mål inom en inbäddad processutvärdering som ägde rum vid sidan av en undersökande studie, även om termen processutvärdering aldrig definierades .,
kvalitativ forskning uppmuntrades för bedömning av godtagande av interventioner eller för genomförande (t.ex. genom observation av icke-deltagare). Försiktighet rekommenderades när det gäller att fokusera grupper där det finns risk för maskering av avvikande åsikter . Andra rekommenderade kvantitativa undersökningar för att undersöka retentionsfrekvensen och orsakerna till avhopp . Dessutom betonade flera källor vikten av att testa genomförandet i en rad sammanhang —särskilt i mindre socioekonomiskt gynnade grupper, för att undersöka risken för att öka ojämlikheten i hälsa .,
en källa till vägledning övervägde om det krävdes en randomisering för att bedöma acceptansen för interventioner, och ansåg att detta var onödigt, men föreslog också att det skulle kunna vara ”potentiellt beroende av preferens bland de insatser som erbjöds i den huvudsakliga prövningen” (; s. 9). Således kan frågor om acceptans för insatser, särskilt inom Multi-arm-försök, avse klinisk equipoise och acceptans av randomiseringsförfaranden bland deltagarna .,
lämpligheten av att bedöma interventionseffekter
flera källor till vägledning diskuterade behovet av att förstå effekten av interventionen, inklusive skador, fördelar eller oavsiktliga konsekvenser . En stor del av vägledningen inriktades på statistiska effektivitetstester med oenighet om att detta mål är sunt, även om kvalitativa metoder också rekommenderades . Vissa fördömde statistiskt testning för effektivitet, eftersom sådana studier ofta är underbyggda, vilket leder till oprecisa och potentiellt vilseledande uppskattningar av effektstorlekar ., Andra hävdade att en uppskattning av sannolik effektstorlek kunde visa att ingripandet fungerade som avsett och inte hade allvarliga oavsiktliga skador och därför användes för att beräkna kraften för hela rättegången . Senare vägledning från MRC är mer tvetydig än tidigare vägledning, där det anges att uppskattningar bör tolkas med försiktighet, samtidigt som ”säkra” antaganden om effektstorlekar anges som en förutsättning innan en fullständig utvärdering fortsätter ., NIHR-vägledningen, som skiljer mellan pilotstudier och genomförbarhetsstudier, stödde bedömningen av ett primärt resultat i pilotstudier, även om det är oklart om detta tyder på att en pilot bör innebära ett första test av förändringar i det primära resultatet, eller helt enkelt att det primära resultatet bör mätas på samma sätt som det skulle vara i en fullständig utvärdering. För ”genomförbarhetsstudier” angavs däremot att ett mål kan vara att utforma en resultatåtgärd som ska användas i en fullständig utvärdering.,
andra gjorde det möjligt att identifiera tecken på potentiell effektivitet, inklusive användning av interims-eller surrogatmått, definierade som ”… variabler på orsaksvägen för vad som så småningom kan vara det primära resultatet i den framtida definitiva RCT, eller resultat vid tidiga tidpunkter, för att bedöma möjligheten för interventionen att påverka sannolika resultat i den framtida definitiva RCT… ” (s. 14).,
randomisering var underförstått som ett konstruktionsegenskap i undersökande studier vid uppskattning av en uppskattning av insatsens effektstorlek, eftersom det maximerade sannolikheten för att observerade skillnader beror på intervention, med vägledning som oftast skrevs från ett inledande antagande om att fullständig utvärdering kommer att ske i form av en RCT och vägledning som är mindre inriktad på undersökande studier för kvasi-experimentella eller andra mönster., För studier som syftar till att bedöma potentiell effektivitet med hjälp av ett surrogat eller interimistiskt resultat rekommenderades en standardberäkning av provstorleken för att säkerställa tillräcklig effekt, även om det noterades att detta mål är sällsynt i undersökande studier .
Tema 4: vägledning kring framtida utvärderingsdesign
källor förespråkade konsekvent bedömning av genomförbarheten av undersökningsförfaranden eller uppskattning av parametrar för den framtida utvärderingen. Rekommendationer beskrivs nedan.,
bedömning av genomförbarheten av den framtida utvärderingsdesignen
bedömning av genomförbarheten av framtida utvärderingsförfaranden rekommenderades vanligen för att avvärja problem som skulle kunna undergräva den framtida utvärderingens beteende eller acceptans . Ett brett spektrum av förfaranden föreslogs som att det krävdes bedömningar av genomförbarheten, inklusive datainsamling , strategier för kvarhållande av deltagare , randomisering , rekryteringsmetoder , genomförande av hela prövningsprotokollet, deltagarnas vilja att randomiseras och föroreningsfrågor ., Det fanns oenighet om huruvida det var lämpligt att bedöma bländande i undersökande studier , och en källa som noterade dubbelblindning är svår när deltagarna får hjälp med att ändra sitt beteende .även om det kan vara möjligt att bedöma enkelblindning.
kvalitativa , kvantitativa och blandade metoder godkändes för att bedöma dessa processer. Som en återspegling av tendensen att vägleda undersökande studier till att begränsas till studier som förberedelse för RCT, diskuterades randomiseringens roll i det undersökande studiestadiet i hög grad i Vägledning., Randomisering inom en undersökande studie ansågs nödvändig för att undersöka möjligheten att rekrytera, samtycka till randomisering, Lagring, kontaminering eller upprätthållande av bländande i kontroll-och interventionsgrupperna, randomiseringsförfaranden och om alla komponenter i ett protokoll kan fungera tillsammans, även om randomisering inte ansågs nödvändig för att bedöma resultatbördan och deltagarnas stödberättigande ., Det rådde enighet om vilka frågor som skulle kunna bedömas genom randomisering, men källor var oense om huruvida randomisering alltid bör föregå en framtida utvärderingsstudie, även om den framtida studien ska vara en RCT. Påståendet verkade vara kopplat till variation i nomenklaturen och tillhörande mål. Till exempel, några definierade pilotstudie som en studie kör i miniatyr för att testa hur alla dess komponenter fungerar tillsammans, vilket dikterar en randomiserad design . Men för genomförbarhetsstudier var randomisering endast nödvändig om den minskade osäkerheten i uppskattningsparametrarna för den framtida utvärderingen ., På samma sätt belyste annan vägledning en undersökande studie (oavsett nomenklatur) bör ta itu med de viktigaste osäkerheterna och kan därför inte bero på randomisering .
uppskattning av parametrar för den framtida utvärderingsdesignen
medan kvalitativa metoder ansågs användbara för att välja ut resultat och lämpliga åtgärder , koncentrerades de flesta riktlinjerna på kvantitativa metoder för att uppskatta framtida utvärderingsstorlekar., Detta var omtvistat på grund av den potential för över – eller underskattning urvalsstorlekar som krävs i en framtida utvärdering på grund av bristen på precision av uppskattningar från en liten pilot . Att uppskatta urvalsstorlekar från effektstorleksuppskattningar i en undersökande studie hävdades dock av vissa att det var användbart om det fanns liten litteratur och den undersökande studien använde samma design och resultat som den framtida utvärderingen . RCT-kluster, som är vanliga vid folkhälsoinsatser, var särskilt öronmärkta som olämpliga för att uppskatta parametrar för urvalsstorleksberäkningar (t. ex., korrelationskoefficienter) samt rekrytering och uppföljning utan ytterligare information från andra resurser, eftersom ett stort antal kluster och enskilda deltagare skulle krävas . Andra hänvisade till ”tumregler” vid bestämning av provstorlekar i en undersökande studie med siffror som varierar mellan 10 och 75 deltagare per försöksarm i individuellt randomiserade studier ., Flera rekommenderade också behovet av att överväga en önskad meningsfull skillnad i hälsoresultaten från en framtida utvärdering och den lämpliga provstorlek som behövs för att upptäcka detta, i stället för att genomföra beräkningar av provstorleken med hjälp av uppskattningar av sannolik effektstorlek från pilotdata .
en randomiserad utformning ansågs onödig för att uppskatta kostnader eller välja ut resultat, men värderades för att uppskatta rekryterings-och kvarhållningsnivåer för intervention och kontrollgrupper ., Om det i vägledningen anges en uppskattning av en effektstorlek som är lämplig för att informera urvalsstorleken för en framtida utvärdering, ansågs en randomiserad utformning nödvändig .
Tema 5: flexibel vs Fast design
källor uppgav att undersökande studier kunde använda en stel eller flexibel design. Med den senare kan designen förändras under studiens gång, vilket är användbart för att göra ändringar i ingreppet, liksom den framtida utvärderingsdesignen ., Här kan kvalitativa data analyseras när de samlas in, forma undersökningsprocessen, till exempel provtagning av efterföljande datainsamlingspunkter och klargöra konsekvenserna för interventionseffektiviteten .
däremot uppmuntrades fasta undersökande studier när man i första hand undersökte de framtida utvärderingsparametrarna och utvärderingsprocesserna . Det kan vara så att den nomenklatur som används i vissa riktlinjer (t.ex. pilotstudier som beskrivs som miniatyrversioner av utvärderingen) tyder på en skillnad mellan mer flexibla och strängare mönster., I vissa riktlinjer nämndes inte om ändringar skulle göras under en undersökande studie eller efteråt för att få bästa möjliga utformning för den framtida utvärderingen .
Tema 6: progressionskriterier till en framtida utvärderingsstudie
lite vägledning lämnades om vad som bör beaktas vid formulering av progressionskriterier för att fortsätta på en framtida utvärderingsstudie., Vissa fokuserade på den relevanta osäkerheten om genomförbarheten, medan andra belyser specifika frågor som rör kostnadseffektivitet, raffinering av orsakshypoteser som ska testas i en framtida utvärdering och uppfyllandet av rekryteringsmålen . Som diskuterats i teman 3 och 4 var statistiskt testning för effektivitet och användning av effektstorlekar för kraftberäkningar varnade av vissa, och därför specificerades inte kriterier baserade på effektstorlekar .
större diskussion ägnades åt hur man ska väga bevis från en undersökande studie som behandlade flera mål och använde olika metoder., Vissa uttryckligt angivna progressionskriterier bör inte bedömas som strikta tröskelvärden, utan som riktlinjer med t .ex. ett trafikljussystem med varierande acceptansnivåer. Andra lyfte fram ett realistiskt tillvägagångssätt, som gick bort från binära indikatorer för att fokusera på ”vad som är möjligt och acceptabelt för vem och under vilka omständigheter”. Mot bakgrund av svårigheterna med tolkning av effektbedömningar bör flera källor rekommendera kvalitativa resultat från undersökande studier vara mer inflytelserika än kvantitativa resultat .,
intressant var det tvetydighet när det gäller progression när undersökande fynd indikerade betydande förändringar av interventions-eller utvärderingsdesignen. Källor som överväger denna fråga föreslog att om ”omfattande ändringar” eller ”större ändringar” görs till antingen (Observera att de inte specificerade vad som är kvalificerat som sådant), ska forskare återvända till undersöknings-eller interventionsutvecklingsfaserna .,
’alternativt kan forskare i genomförbarhetsfasen identifiera grundläggande problem med interventions-eller försöksverksamheten och återgå till utvecklingsfasen i stället för att gå vidare till en fullständig prövning.”(s. 1) .
som tidigare beskrivits var dock det tröskelvärde vid vilket förändringarna bedöms vara ”stora” tvetydiga., Medan uppdaterad MRC-vägledning flyttades till en mer iterativ modell, och accepterades att det ibland kan behövas en rörelse mellan genomförbarhet/lotsning och interventionsutveckling, fanns det ingen vägledning om under vilka förhållanden rörelse mellan dessa två steg skulle äga rum.
Tema 7: intressenternas engagemang
flera källor rekommenderade en rad intressenter (t. ex., interventionsleverantörer, interventionsmottagare, offentliga företrädare samt utövare som kan använda de bevis som lagts fram av hela rättegången) deltar i planeringen och genomförandet av den förberedande studien för att säkerställa att undersökande studier återspeglar verkligheten i interventionsinställningen . I synnerhet rekommenderades gemenskapsbaserade tillvägagångssätt för deltagande ., Medan många betonade värdet av intressenter på Provstyrningskommittéer och andra liknande studiegrupper , varnade några om jämvikt mellan forskare och intressenter och varnade också mot forskare som förvirrade intressenternas engagemang med kvalitativ forskning .
” även om patient-och offentliga företrädare för forskargrupper kan ge användbar feedback om ingripandet, utgör detta inte kvalitativ forskning och kan inte resultera i tillräckligt robusta data för att informera om lämplig utveckling av ingripandet.”(s. 8) .,
Tema 8: rapportering av undersökande studier
detaljerade rekommendationer för rapportering av undersökande studier lämnades nyligen i nya konsoliderade standarder för rapportering av försök (CONSORT) vägledning av Eldridge et al. . Utöver detta togs återkommande punkter upp av andra vägledande källor. Framför allt rekommenderades undersökande studier publiceras i peer-reviewed journals eftersom detta kan ge användbar information till andra forskare om vad som har gjorts, vad som inte fungerade och vad som kan vara mest lämpligt ., En undersökande studie kan också resultera i flera publikationer, men bör innehålla hänvisning till annat arbete som utförs i samma undersökande studie . Flera källor till vägledning belyser också att undersökande studier bör märkas på lämpligt sätt i titeln / abstraktet för att möjliggöra enkel identifiering. nomenklaturen föreslog dock olika beroende på vägledning .