Evaluatiestatistieken
vierduizend vijfennegentig unieke records werden geïdentificeerd, waarvan 93 in volledige tekst werden herzien (zie Fig. 1). In totaal zijn in de systematische evaluatie 30 documenten opgenomen die 25 unieke richtsnoeren vertegenwoordigen., De meeste informatiebronnen gaven niet expliciet aan welk publiek het beoogde publiek was en de informatie varieerde qua relevantie voor de volksgezondheid. Tabel 2 geeft een overzicht van alle in het overzicht opgenomen bronnen van richtsnoeren, met bronnen die min of meer relevant zijn voor de volksgezondheid en die specifiek van toepassing zijn op verkennende studies met een gerandomiseerde opzet.
schema
de Bevindingen van begeleiding
De meegeleverde begeleiding melding van een breed scala van aanbevelingen op het proces van het uitvoeren en rapporteren van verkennende studies., We categoriseerden deze in acht thema ‘ s die vastleggen: voorwaarden voor het uitvoeren van een verkennende studie, nomenclatuur, begeleiding voor interventie beoordeling, begeleiding rond de toekomstige evaluatie studie ontwerp, adaptieve Versus rigide ontwerpen, progressie criteria voor verkennende studies, stakeholder betrokkenheid en rapportage.,
narratieve beschrijving van thema ‘ s
Thema 1: voorwaarden voor het uitvoeren van een verkennend onderzoek
waar vermeld, omvatten de noodzakelijke activiteiten het bepalen van de bewijsbasis, het vaststellen van de theoretische basis voor de interventie, het identificeren van de interventiecomponenten en het modelleren van de interventie om te begrijpen hoe interventiecomponenten interageren en de impact op de eindresultaten hebben . Deze werden vaak besproken in het kader van de interventie-ontwikkelings-evaluatiecyclus van het MRC ., Inzicht in de interactie tussen interventiecomponenten en verschillende contextuele instellingen en het identificeren van onbedoelde schade en potentiële implementatieproblemen werden ook benadrukt. Er was een gebrek aan detail bij het beoordelen wanneer aan deze voorwaarden voldoende was voldaan om over te gaan tot een verkennend onderzoek.
thema 2: nomenclatuur
een breed scala aan termen werd gebruikt, soms door elkaar, om verkennende studies te beschrijven, waarbij de meest voorkomende proef/studie was. Tabel 3 toont de frequentie van de in de richtsnoeren gebruikte termen, met inbegrip van andere goedgekeurde termen.,
verschillende terminologie leek niet consistent in verband te worden gebracht met specifieke onderzoeksdoeleinden (zie thema 3), zoals geïllustreerd in Tabel 2. “Pilot” en “feasibility” studies werden soms door elkaar gebruikt, terwijl andere onderscheid maakten tussen de twee op basis van ontwerpkenmerken of specifieke doelstellingen ., Sommige beschreven bijvoorbeeld pilotstudies als een kleinere versie van een toekomstige RCT die in miniatuur moest worden uitgevoerd en werd soms geassocieerd met een gerandomiseerd ontwerp , maar niet altijd . In tegenstelling, werden haalbaarheidsstudies gebruikt als overkoepelende term door Eldridge et al. met pilotstudies die een subgroep van haalbaarheidsstudies vertegenwoordigen: ‘we stellen voor dat onderzoekers haalbaarheid zien als een overkoepelend concept, met alle studies die worden gedaan ter voorbereiding van een hoofdstudie die openstaat voor haalbaarheidsstudies, en met pilotstudies als een subgroep van haalbaarheidsstudies.”(blz. 18).,
haalbaarheidsstudies kunnen zich richten op specifieke interventie-en proefopzetelementen die mogelijk geen randomisatie omvatten . Interne pilotstudies werden voornamelijk gezien als onderdeel van de volledige studie en worden daarom niet weergegeven in de nomenclatuur in Tabel 3.
hoewel geen enkele bron expliciet verklaarde dat een verkennend onderzoek zich op het ene gebied zou moeten concentreren en niet op het andere, verschilden de doelstellingen en de bijbehorende methoden van verkennend onderzoek in twee afzonderlijke thema ‘ s. Zij hadden betrekking op hetzij het onderzoek van de interventie zelf, hetzij het ontwerp van de toekomstige evaluatie, en worden hieronder in de thema ‘ s 3 en 4 nader toegelicht.,
Thema 3: guidance for intervention assessment
bronnen van richtsnoeren onderschreven verkennende studies met formatieve doeleinden (d.w.z. het verfijnen van de interventie en het aanpakken van onzekerheden in verband met de uitvoering van de interventie ) en summatieve doelstellingen (d.w.z. het beoordelen van het potentiële effect van een interventie of de belofte ervan ).
verfijning van de interventie en de onderliggende theorie
sommige richtlijnen suggereerden dat er binnen verkennende studies wijzigingen zouden kunnen worden aangebracht om de interventie en de onderliggende theorie te verfijnen en de inhoud van de interventie aan een nieuwe setting aan te passen ., De richtlijnen waren echter niet duidelijk over wat kleine versus grote veranderingen en implicaties voor de progressiecriteria waren (zie thema 6). Bij het aanbrengen van wijzigingen in de interventie of onderliggende theorie, werd in sommige richtlijnen aanbevolen dat dit tijdens de loop van de verkennende studie plaatsvindt (zie thema 5). Anderen benadrukten de rol van het gebruik van een multi-arm ontwerp om de inhoud van de interventie te selecteren vóór een volledige evaluatie en om potentiële mechanismen van meerdere verschillende interventies of interventiecomponenten te beoordelen ., Verschillende bronnen benadrukten de rol van kwalitatief onderzoek bij het optimaliseren of verfijnen van een interventie, met name voor het begrijpen van de componenten van het logische model en het blootleggen van verborgen aspecten van de interventie die belangrijk zijn voor het leveren van resultaten .
Interventieimplementatie
Er was overeenstemming over een breed scala van richtsnoeren dat verkennende studies de belangrijkste onzekerheden in verband met interventieimplementatie konden onderzoeken, zoals aanvaardbaarheid, haalbaarheid of uitvoerbaarheid. Met name deze termen waren vaak slecht gedefinieerd en werden door elkaar gebruikt., De aanvaardbaarheid werd beoordeeld aan de hand van de reacties van de ontvangers, terwijl anderen ook oog hadden voor de haalbaarheid vanuit het perspectief van aanbieders van interventie, verstrekkers en gezondheidswerkers . Implementatie, haalbaarheid, betrouwbaarheid en ‘uitvoerbaarheid’ onderzocht de kans dat het doel in de praktijk kan worden bereikt . Deze werden soms aangeduid als doelstellingen binnen een ingebedde procesevaluatie die plaatsvond naast een verkennend onderzoek, hoewel de term procesevaluatie nooit werd gedefinieerd .,
kwalitatief onderzoek werd aangemoedigd voor de beoordeling van de aanvaardbaarheid van interventie of voor de uitvoering (bijvoorbeeld door observatie van niet-deelnemers ). Voorzichtigheid werd aanbevolen met betrekking tot focusgroepen waar het risico bestaat dat uiteenlopende meningen worden verhuld . Anderen adviseerden kwantitatieve enquêtes om retentiepercentages en redenen voor uitval te onderzoeken . Voorts benadrukten verscheidene bronnen het belang van het testen van de implementatie in een reeks contexten —met name in minder sociaal-economisch bevoorrechte groepen-om het risico van het vergroten van de ongelijkheid op gezondheidsgebied te onderzoeken .,
Eén bron van richtsnoeren ging na of randomisatie nodig was om de aanvaardbaarheid van interventie te beoordelen, omdat zij van mening was dat dit onnodig was, maar ook suggereerde dat dit “mogelijk zou kunnen afhangen van de voorkeur onder interventies die in de hoofdstudie worden aangeboden” (; blz. 9). Daarom kunnen kwesties van aanvaardbaarheid van interventie, met name in multi-arm trials, verband houden met klinische equipoise en aanvaardbaarheid van randomisatieprocedures bij deelnemers .,
geschiktheid van het beoordelen van het effect van de interventie
verschillende bronnen van richtsnoeren bespraken de noodzaak om inzicht te krijgen in het effect van de interventie, met inbegrip van schade, voordelen of onbedoelde gevolgen . Een groot deel van de richtsnoeren was gericht op statistische tests van de doeltreffendheid met verschil van mening over de deugdelijkheid van deze doelstelling, hoewel ook kwalitatieve methoden werden aanbevolen . Sommige veroordeelden het statistisch testen op effectiviteit , omdat dergelijke studies vaak onderbezet zijn, wat leidt tot onnauwkeurige en mogelijk misleidende schattingen van effectgroottes ., Anderen voerden aan dat een schatting van de waarschijnlijke effectomvang kon aantonen dat de interventie werkte zoals bedoeld en geen ernstige onbedoelde schade had en dus werd gebruikt om de kracht voor het volledige onderzoek te berekenen . Latere richtsnoeren van het MRC zijn dubbelzinniger dan eerdere richtsnoeren, waarin wordt gesteld dat schattingen met voorzichtigheid moeten worden geïnterpreteerd, terwijl tegelijkertijd “veilige” aannames van effectgroottes als een vereiste worden vermeld alvorens verder te gaan met een volledige evaluatie ., De NIHR-richtsnoeren, waarin onderscheid werd gemaakt tussen pilot-en haalbaarheidsstudies, ondersteunden de beoordeling van een primair resultaat in pilotstudies, hoewel het onduidelijk is of dit suggereert dat een pilot een eerste test van veranderingen in het primaire resultaat moet omvatten, of simpelweg dat het primaire resultaat op dezelfde manier moet worden gemeten als bij een volledige evaluatie. Voor “haalbaarheidsstudies” daarentegen gaf zij aan dat een doelstelling het ontwerpen van een resultaatmaatregel kan omvatten die bij een volledige evaluatie kan worden gebruikt.,
anderen pleitten voor het identificeren van bewijs van potentiële effectiviteit, waaronder het gebruik van tussentijdse of surrogaateindpunten , gedefinieerd als “…variabelen over de causale route van wat uiteindelijk de primaire uitkomst in de toekomstige definitieve RCT zou kunnen zijn, of uitkomsten op vroege tijdstippen, om te beoordelen of de interventie de waarschijnlijke resultaten in de toekomstige definitieve RCT zou kunnen beïnvloeden… ” (blz. 14).,
randomisatie werd geïmpliceerd als een ontwerpkenmerk van verkennende studies bij het schatten van een schatting van de effectgrootte van de interventie , aangezien het de waarschijnlijkheid maximaliseerde dat waargenomen verschillen te wijten zijn aan interventie, met richtsnoeren die meestal geschreven zijn vanuit een aanname dat een volledige evaluatie de vorm van een RCT zal aannemen en richtsnoeren die minder gericht waren op verkennende studies voor quasi-experimentele of andere ontwerpen., Voor studies die gericht zijn op het beoordelen van de potentiële werkzaamheid met behulp van een surrogaatresultaat of een tussentijds resultaat, werd aanbevolen een berekening van de standaardgrootte van de steekproef te gebruiken om voldoende vermogen te garanderen, hoewel werd opgemerkt dat dit doel zeldzaam is in verkennende studies .
Thema 4: richtsnoeren voor de opzet van de toekomstige evaluatie
bronnen pleitten er consequent voor de haalbaarheid van studieprocedures of het schatten van parameters van de toekomstige evaluatie te beoordelen. De aanbevelingen worden hieronder nader toegelicht.,
beoordeling van de haalbaarheid van het toekomstige evaluatieontwerp
beoordeling van de haalbaarheid van toekomstige evaluatieprocedures werd algemeen aanbevolen om problemen te voorkomen die de uitvoering of aanvaardbaarheid van toekomstige evaluatie zouden kunnen ondermijnen . Er werd een breed scala aan procedures voorgesteld die uitvoerbaarheidsbeoordelingen vereisen, waaronder gegevensverzameling , strategieën voor het bewaren van deelnemers , randomisatie , wervingsmethoden , het uitvoeren van het volledige proefprotocol, de bereidheid van deelnemers om te worden gerandomiseerd en problemen met verontreiniging ., Er was onenigheid over de geschiktheid van het beoordelen van blindering in verkennende studies , met een bron die opmerkt dat dubbele blindering moeilijk is wanneer deelnemers worden geholpen bij het veranderen van hun gedrag; hoewel het beoordelen van enkele blindering mogelijk kan zijn .
kwalitatieve, kwantitatieve en gemengde methoden werden goedgekeurd voor de beoordeling van deze processen. Als gevolg van de tendens om de begeleiding van verkennende studies te beperken tot studies ter voorbereiding van RCT ‘ s, kwam de bespreking van de rol van randomisatie in de fase van de verkennende studie sterk aan bod in de begeleiding., Randomisatie binnen een verkennend onderzoek werd noodzakelijk geacht om de haalbaarheid te onderzoeken van werving, toestemming voor randomisatie, retentie, contaminatie of het behoud van blindering in de controle-en interventiegroepen, randomisatieprocedures en de vraag of alle onderdelen van een protocol kunnen samenwerken, hoewel randomisatie niet noodzakelijk werd geacht om de uitkomstlast en de geschiktheid van deelnemers te beoordelen ., Hoewel er consensus bestond over welke kwesties door middel van randomisatie konden worden beoordeeld, waren de bronnen het niet eens over de vraag of randomisatie altijd vooraf moest gaan aan een toekomstige evaluatiestudie, zelfs als die toekomstige studie een RCT zou zijn. Twist leek te worden gekoppeld aan variatie in nomenclatuur en bijbehorende doelstellingen. Bijvoorbeeld, sommige gedefinieerd pilot studie als een studie uitgevoerd in miniatuur om te testen hoe alle componenten samenwerken, waardoor dicteren een gerandomiseerd ontwerp . Voor haalbaarheidsstudies was randomisatie echter alleen nodig als daardoor de onzekerheden bij het schatten van parameters voor de toekomstige evaluatie werden verminderd ., Evenzo werd in andere richtsnoeren benadrukt dat een verkennend onderzoek (ongeacht de nomenclatuur) de belangrijkste onzekerheden moet aanpakken en dus niet afhankelijk mag zijn van randomisatie .
Schattingsparameters van de toekomstige evaluatieopzet
hoewel kwalitatieve methoden nuttig werden geacht voor het selecteren van de resultaten en de passende maatregelen , waren de meeste richtsnoeren gericht op kwantitatieve methoden voor het schatten van de steekproefgrootte van de toekomstige evaluatie., Dit was omstreden vanwege het potentieel om de steekproefomvang te overschatten of te onderschatten bij een toekomstige evaluatie vanwege het gebrek aan nauwkeurigheid van de schattingen van een kleine pilot . Het schatten van de steekproefomvang aan de hand van schattingen van de effectomvang in een verkennend onderzoek werd door sommigen niettemin nuttig geacht als er weinig literatuur was en de verkennende studie dezelfde opzet en resultaten gebruikte als de toekomstige evaluatie . Cluster RCT’ s, die gebruikelijk zijn in volksgezondheidsinterventies, werden specifiek geoormerkt als ongeschikt voor het schatten van parameters voor steekproefgrootteberekeningen (bijv., correlatiecoëfficiënten binnen een cluster) en recruitment-en follow-uppercentages zonder aanvullende informatie uit andere bronnen, omdat een groot aantal clusters en individuele deelnemers nodig zou zijn . Anderen verwezen naar’ vuistregels ‘ bij het bepalen van de steekproefgrootte in een verkennend onderzoek met aantallen variërend tussen 10 en 75 deelnemers per onderzoeksarm in individueel gerandomiseerde onderzoeken ., Verscheidene bevalen ook aan rekening te houden met een gewenst zinvol verschil in de gezondheidsresultaten van een toekomstige evaluatie en met de passende steekproefgrootte die nodig is om dit op te sporen, in plaats van steekproefgrootte berekeningen uit te voeren aan de hand van schattingen van de waarschijnlijke effectgrootte op basis van proefgegevens .
een gerandomiseerde opzet werd niet nodig geacht voor het schatten van kosten of het selecteren van resultaten, hoewel werd gewaardeerd voor het schatten van wervings-en retentiepercentages voor interventie-en controlegroepen ., Wanneer uit de richtsnoeren blijkt dat een effectgrootte moet worden geschat die geschikt is om de steekproefgrootte voor een toekomstige evaluatie te bepalen, werd een gerandomiseerde opzet noodzakelijk geacht .
Thema 5: flexibel Versus vast ontwerp
bronnen verklaarden dat verkennende studies een star of flexibel ontwerp konden gebruiken. Met dit laatste kan het ontwerp veranderen in de loop van het Onderzoek, wat nuttig is voor het aanbrengen van wijzigingen in de interventie, evenals het toekomstige evaluatieontwerp ., Hier kunnen kwalitatieve gegevens worden geanalyseerd terwijl ze worden verzameld, waardoor het verkennende studieproces wordt vormgegeven, bijvoorbeeld bemonstering van daaropvolgende gegevensverzamelingspunten, en de implicaties voor de effectiviteit van interventie worden verduidelijkt .
daarentegen werden vaste verkennende studies aangemoedigd wanneer voornamelijk de toekomstige evaluatieparameters en-processen werden onderzocht . Het kan zijn dat de nomenclatuur die in sommige richtsnoeren wordt gebruikt (bijvoorbeeld pilotstudies die worden beschreven als miniatuurversies van de evaluatie) een onderscheid suggereert tussen meer flexibele dan strengere ontwerpen., In sommige richtsnoeren werd niet vermeld of tijdens een verkennend onderzoek of achteraf wijzigingen moesten worden aangebracht om een zo goed mogelijke opzet voor de toekomstige evaluatie te krijgen .
Thema 6: progressiecriteria voor een toekomstige evaluatiestudie
weinig richtlijnen werden gegeven over wat in aanmerking moet worden genomen bij het formuleren van progressiecriteria voor voortzetting van een toekomstige evaluatiestudie., Sommige waren gericht op de relevante onzekerheden met betrekking tot de haalbaarheid , terwijl andere specifieke punten belichten met betrekking tot kosteneffectiviteit , het verfijnen van causale hypothesen die in een toekomstige evaluatie moeten worden getest en het bereiken van aanwervingsdoelstellingen . Zoals besproken in de thema ‘ s 3 en 4, werden statistisch testen op effectiviteit en het gebruik van effectgroottes voor vermogensberekeningen door sommigen gewaarschuwd, zodat criteria op basis van effectgroottes niet werden gespecificeerd .
Er werd meer gediscussieerd over de vraag hoe de resultaten van een verkennend onderzoek, dat meerdere doelstellingen had en verschillende methoden gebruikte, konden worden afgewogen., Sommige expliciet genoemde progressiecriteria moeten niet worden beschouwd als strikte drempels, maar als richtlijnen waarbij bijvoorbeeld een Verkeerslichtsysteem met verschillende aanvaardbaarheidsniveaus wordt gebruikt . Anderen legden de nadruk op een realistische benadering, waarbij de nadruk werd gelegd op “wat haalbaar en aanvaardbaar is voor wie en onder welke omstandigheden”. In het licht van de moeilijkheden bij de interpretatie van effectschattingen zouden verschillende bronnen kwalitatieve bevindingen uit verkennende studies meer invloed moeten hebben dan kwantitatieve bevindingen .,
interessant is dat er onduidelijkheid was over progressie toen verkennende bevindingen wezen op substantiële wijzigingen in de opzet van de interventie of evaluatie. Bronnen die deze kwestie overwegen suggereerden dat als’ uitgebreide wijzigingen ‘of’ belangrijke wijzigingen ‘ worden aangebracht aan een van beide (merk op dat ze niet specificeren wat gekwalificeerd als zodanig), onderzoekers moeten terugkeren naar de verkennende of interventie ontwikkelingsfasen .,
” als alternatief kunnen onderzoekers in de haalbaarheidsfase fundamentele problemen met de interventie of het uitvoeren van de proef identificeren en terugkeren naar de ontwikkelingsfase in plaats van over te gaan tot een volledige proef.”(blz. 1).
zoals eerder beschreven, bleef de drempel waarbij veranderingen als “belangrijk” worden beschouwd echter dubbelzinnig., Hoewel geactualiseerde MRC-richtsnoeren zijn overgeschakeld op een meer iteratief model, waarbij wordt aanvaard dat soms een verschuiving tussen haalbaarheid/piloting en interventieontwikkeling nodig kan zijn, was er geen leidraad over onder welke voorwaarden een verschuiving tussen deze twee fasen moet plaatsvinden.
Thema 7: betrokkenheid van belanghebbenden
verschillende bronnen hebben een reeks belanghebbenden aanbevolen (bijv., aanbieders van interventie, ontvangers van interventie, vertegenwoordigers van het publiek en mensen uit de praktijk die gebruik kunnen maken van de gegevens die uit de volledige proef zijn verkregen) worden betrokken bij de planning en uitvoering van de verkennende studie om ervoor te zorgen dat verkennende studies de realiteit van de interventieomgeving weerspiegelen . Met name werd een op de gemeenschap gebaseerde participatieve aanpak aanbevolen ., Hoewel velen de waarde van stakeholders in Proefstuurcomités en andere soortgelijke studiegroepen benadrukten, waarschuwden sommigen voor equipoise tussen onderzoekers en stakeholders en waarschuwden ook tegen onderzoekers die de betrokkenheid van stakeholders vermengen met kwalitatief onderzoek .
” hoewel patiëntenvertegenwoordigers en vertegenwoordigers van het publiek in onderzoeksteams nuttige feedback kunnen geven over de interventie, vormt dit geen kwalitatief onderzoek en resulteert het mogelijk niet in voldoende solide gegevens om de juiste ontwikkeling van de interventie te kunnen onderbouwen.”(blz. 8).,
Thema 8: rapportage van verkennende studies
gedetailleerde aanbevelingen voor het rapporteren van verkennende studies werden onlangs verstrekt in de nieuwe geconsolideerde standaarden voor Rapportagestudies (CONSORT) guidance door Eldridge et al. . Daarnaast werden terugkerende punten naar voren gebracht door andere bronnen van begeleiding. Met name werd aanbevolen verkennende studies te publiceren in peer-reviewed tijdschriften, omdat dit nuttige informatie kan bieden aan andere onderzoekers over wat er is gedaan, wat niet werkte en wat het meest geschikt zou kunnen zijn ., Een verkennend onderzoek kan ook resulteren in meerdere publicaties, maar moet verwijzen naar andere werkzaamheden die in hetzelfde verkennend onderzoek zijn uitgevoerd . Verschillende bronnen van richtsnoeren wijzen er ook op dat verkennende studies naar behoren in de titel/samenvatting moeten worden vermeld om een gemakkelijke identificatie mogelijk te maken; de voorgestelde nomenclatuur varieerde echter naar gelang van de richtsnoeren .