Revisão estatísticas
Quatro mil e noventa e cinco únicos registros foram identificados, dos quais 93 foram revistas em texto completo (ver Fig. 1). No total, 30 documentos foram incluídos na revisão sistemática representando 25 conjuntos únicos de orientações., A maioria das fontes de orientação não identificou explicitamente um público pretendido e a orientação variou na sua relevância para a saúde pública. O quadro 2 apresenta uma panorâmica de todas as fontes de orientação incluídas na revisão, com fontes de orientação mais ou menos relevantes para a saúde pública identificadas, bem como aquelas que se aplicavam especificamente a estudos exploratórios com um desenho aleatório.
diagrama de Fluxo
Resultados da orientação
O incluído orientação relatou uma ampla gama de recomendações sobre o processo de conduzir e relatar estudos exploratórios., Classificámo-los em oito temas que incluem: pré-requisitos para a realização de um estudo exploratório, nomenclatura, orientação para a avaliação da intervenção, orientação em torno da concepção do futuro estudo de avaliação, desenhos adaptativos Versus rígidos, critérios de progressão para estudos exploratórios, envolvimento das partes interessadas e relatórios.,
descrição Narrativa de temas
Tema 1: pré-requisitos para a realização de um estudo exploratório
quando mencionado, os pré-requisitos de atividades incluídas determinar a base de evidências, que estabelece a base teórica para a intervenção, identificando os componentes de intervenção, bem como o modelo de intervenção, a fim de compreender como a intervenção componentes interagem e o impacto nos resultados finais . Estes foram frequentemente discutidos no contexto do ciclo de desenvolvimento de intervenção do MRC-avaliação ., Foram também salientados o modo como os componentes de intervenção interagem com várias configurações contextuais e identificam danos não intencionais, bem como potenciais problemas de implementação. Houve uma ausência de detalhes na avaliação Quando estas condições foram cumpridas o suficiente para avançar para um estudo exploratório.
tema 2: nomenclatura
foi utilizada uma vasta gama de termos, por vezes intercambiáveis, para descrever estudos exploratórios com o estudo-piloto mais comum. O quadro 3 mostra a frequência dos termos utilizados nas orientações, incluindo outros termos aprovados.,
uma terminologia Diferente, não parecem ser consistentemente associados com determinados fins de estudo (ver tema 3), como ilustrado na Tabela 2. Os estudos “piloto” e “viabilidade” foram por vezes utilizados de forma intercambiável, enquanto outros fizeram distinções entre os dois de acordo com características de concepção ou objectivos específicos ., Por exemplo , alguns estudos-piloto descritos como uma versão menor de um RCT futuro para ser executado em miniatura e foi por vezes associado com um projeto randomizado, mas nem sempre . Em contrapartida, os estudos de viabilidade foram utilizados como termo de referência por Eldridge et al. com estudos-piloto representando um subconjunto de estudos de viabilidade: “sugerimos que os investigadores encarem a viabilidade como um conceito abrangente, com todos os estudos realizados na preparação de um estudo principal aberto a ser chamado de estudos de viabilidade, e com estudos-piloto como um subconjunto de estudos de viabilidade.”(p. 18).,os estudos de viabilidade podem centrar-se em determinados elementos de intervenção e de concepção de ensaios, que podem não incluir a aleatorização . Os estudos-piloto internos foram principalmente considerados como parte do ensaio completo, pelo que não são descritos na nomenclatura do quadro 3.embora nenhuma fonte afirmasse explicitamente que um estudo exploratório deveria incidir numa área e não na outra, os objectivos e métodos associados de estudos exploratórios divergiram em dois temas distintos. Eles se dedicaram a examinar a própria intervenção ou o projeto de avaliação futuro, e são detalhados abaixo nos temas 3 e 4.,Tema 3: orientações para a avaliação da intervenção Fontes de orientação endossaram estudos exploratórios com fins formativos (ou seja, refinar a intervenção e abordar as incertezas relacionadas com a implementação da intervenção), bem como objectivos sumativos (ou seja, avaliar o impacto potencial de uma intervenção ou a sua promessa ).algumas orientações sugeriram que mudanças poderiam ser feitas em estudos exploratórios para refinar a intervenção e a teoria subjacente e adaptar o conteúdo da intervenção a um novo cenário ., No entanto, as orientações não foram claras sobre o que constituía alterações menores vs. maiores e implicações para os critérios de progressão (ver Tema 6). Ao introduzir alterações na intervenção ou na teoria subjacente, algumas orientações recomendaram que tal acontecesse no decurso do estudo exploratório (ver Tema 5). Outros destacaram o papel de utilizar um Projeto multi-braços para selecionar o conteúdo da intervenção antes de uma avaliação completa e para avaliar os mecanismos potenciais de múltiplas intervenções ou componentes de intervenção diferentes ., Várias fontes destacaram o papel da pesquisa qualitativa na otimização ou aperfeiçoamento de uma intervenção, particularmente para compreender os componentes do modelo lógico e emergir aspectos ocultos da intervenção importantes para a obtenção de resultados .implementação da intervenção houve acordo numa vasta gama de orientações de que os estudos exploratórios poderiam explorar as principais incertezas relacionadas com a implementação da intervenção, tais como aceitabilidade, Viabilidade ou praticidade. Notavelmente, estes termos eram frequentemente mal definidos e utilizados indistintamente., A aceitabilidade foi considerada em termos de reações dos destinatários, enquanto outros também estavam atentos à viabilidade na perspectiva dos provedores de intervenção, entregadores e profissionais de saúde . A implementação, a viabilidade, a fidelidade e a “praticidade” exploraram a probabilidade de serem capazes de cumprir na prática o que se pretendia . Estes foram por vezes referidos como objectivos no âmbito de uma avaliação de processo incorporada que teve lugar ao lado de um estudo exploratório, embora o termo avaliação de processo nunca tenha sido definido .,foi incentivada a investigação qualitativa para avaliar a aceitabilidade da intervenção ou para a sua implementação (por exemplo, através da observação de não participantes ). Recomenda-se precaução no que respeita aos grupos focais em que existe o risco de mascarar opiniões divergentes . Outros recomendaram inquéritos quantitativos para examinar as taxas de retenção e as razões do abandono . Além disso, várias fontes sublinharam a importância de testar a implementação numa série de contextos —especialmente em grupos menos favorecidos do ponto de vista socioeconómico, a fim de examinar o risco de agravamento das desigualdades no domínio da saúde .,uma fonte de orientação considerou se era necessária uma aleatorização para avaliar a aceitabilidade da intervenção, considerando-a desnecessária, mas também sugerindo que poderia “depender potencialmente da preferência entre as intervenções oferecidas no ensaio principal” (p. 9). Assim, as questões de aceitabilidade da intervenção, particularmente no âmbito dos ensaios Multicamadas, podem estar relacionadas com o equipamento clínico e a aceitabilidade dos procedimentos de aleatorização entre os participantes .,várias fontes de orientação discutiram a necessidade de compreender o impacto da intervenção, incluindo danos, benefícios ou consequências não intencionais . Grande parte das orientações centrou-se em testes estatísticos de eficácia com desacordo quanto à solidez deste objectivo, embora tenham sido também recomendados métodos qualitativos . Alguns testes estatísticos condenados para a eficácia, uma vez que tais estudos são muitas vezes insuficientemente dotados, o que leva a estimativas imprecisas e potencialmente enganosas de tamanhos de efeito ., Outros argumentaram que uma estimativa da dimensão provável do efeito poderia evidenciar que a intervenção estava funcionando como previsto e não tendo graves danos não intencionais e, portanto, ser utilizada para calcular a potência para o ensaio completo . Mais tarde, as orientações do MRC são mais ambíguas do que as orientações anteriores, afirmando que as estimativas devem ser interpretadas com precaução, ao mesmo tempo que se indicam como pré-requisito pressupostos “seguros” da dimensão dos efeitos antes de se continuar a proceder a uma avaliação completa ., NIHR de orientação, que distingue entre o piloto e estudos de viabilidade, com suporte a avaliação de um resultado primário em estudos-piloto, ainda não está claro se isso é o que sugere que um piloto deve envolver um teste inicial de alterações no resultado primário, ou, simplesmente, que o principal resultado deve ser medido da mesma forma que faria em uma avaliação completa. Em contrapartida, para os “estudos de viabilidade”, indicou que um objectivo pode incluir a concepção de uma medida de resultado a utilizar numa avaliação completa.,
Outros faziam o caso para a identificação de evidências de eficácia potencial, incluindo o uso de medidas provisórias ou parâmetros de substituição , definido como “…variáveis causais caminho do que poderia, eventualmente, ser o resultado primário no futuro definitivo RCT, ou dos resultados no início do horário de pontos, a fim de avaliar o potencial para a intervenção afeta prováveis resultados no futuro definitivo RCT… ” (p. 14).,
a Randomização foi expressa como um recurso de design de estudos exploratórios, quando se estimar um tamanho de efeito de estimativa da intervenção como maximizar a probabilidade de que as diferenças observadas são devidas à intervenção , com a orientação escritos principalmente a partir pressuposto de que a avaliação completa terá a forma de um RCT orientação e menos focada em estudos exploratórios para as quase-experimentais ou outros desenhos., Para estudos que visam avaliar a eficácia potencial utilizando um resultado substituto ou intermédio, foi recomendado um cálculo padrão da dimensão da amostra para assegurar uma potência adequada, embora se tenha observado que este objectivo é raro em estudos exploratórios .Tema 4: orientações em torno da futura concepção da avaliação As recomendações são detalhadas abaixo.,foi geralmente recomendada a avaliação da viabilidade de futuros procedimentos de avaliação, A fim de evitar problemas que possam comprometer a realização ou a aceitabilidade de futuras avaliações . Foi sugerida uma vasta gama de procedimentos que exigem avaliações de viabilidade , incluindo a recolha de dados , estratégias de retenção dos participantes , aleatorização , métodos de recrutamento , execução do protocolo de ensaio completo, a disponibilidade dos participantes para serem randomizados e questões de contaminação ., Houve desacordo quanto à oportunidade de avaliar a cegueira em estudos exploratórios , com uma fonte observando que a dupla blindagem é difícil quando os participantes são assistidos na mudança de seu comportamento; embora a avaliação única blindagem pode ser possível .para avaliar estes processos , foram aprovados métodos qualitativos, quantitativos e mistos. Reflectindo a tendência para que a orientação dos estudos exploratórios se limite a estudos de preparação para os RCTs, o debate sobre o papel da aleatorização na fase de estudo exploratório foi fortemente caracterizado na orientação., A randomização dentro de um estudo exploratório, foi considerado necessário para a análise de viabilidade da contratação, o consentimento para a randomização, de retenção, de contaminação ou de manutenção de cegueira no grupo controle e intervenção, procedimentos de aleatorização e se todos os componentes de um protocolo podem trabalhar juntos, apesar de randomização não foi necessário avaliar o resultado de encargos e de elegibilidade dos participantes ., Embora houvesse consenso sobre quais as questões que poderiam ser avaliadas através da aleatorização, as fontes discordavam sobre se a aleatorização deveria sempre preceder um estudo de avaliação futuro, mesmo que esse estudo futuro deva ser um RCT. O argumento parecia estar ligado à variação na nomenclatura e objetivos associados. Por exemplo, alguns estudos-piloto definidos como um estudo executado em miniatura para testar como todos os seus componentes funcionam em conjunto, ditando assim um projeto randomizado . No entanto, para os estudos de viabilidade, a aleatorização só era necessária se reduzisse as incertezas na estimativa dos parâmetros para a avaliação futura ., Do mesmo modo, outras orientações destacaram um estudo exploratório (independentemente da nomenclatura) que deveria abordar as principais incertezas, podendo assim não depender da aleatorização .enquanto os métodos qualitativos foram considerados úteis para a selecção dos resultados e das suas medidas adequadas , a maioria das orientações concentrou-se em métodos quantitativos para estimar as dimensões futuras das amostras de avaliação., Este facto foi controverso devido ao potencial de excesso ou de subavaliação das dimensões das amostras necessárias numa avaliação futura, devido à falta de precisão das estimativas de um pequeno piloto . No entanto, a estimativa do tamanho das amostras a partir das estimativas do tamanho dos efeitos num estudo exploratório foi considerada útil por alguns se houvesse pouca literatura e o estudo exploratório utilizou o mesmo desenho e resultado que a avaliação futura . Cluster RCTs, que são comuns em intervenções de saúde pública, foram especificamente destinados como inadequados para estimar parâmetros para cálculos de tamanho de amostra (ex., as taxas de recrutamento e de acompanhamento sem informação adicional proveniente de outros recursos, uma vez que seria necessário um grande número de agregados e de participantes individuais . Outros referiam-se às “regras de polegar” ao determinar o tamanho das amostras num estudo exploratório com números que variam entre 10 e 75 participantes por braço experimental em estudos aleatorizados individualmente ., Vários também recomendaram a necessidade de considerar uma diferença significativa desejada nos resultados de saúde a partir de uma avaliação futura e o tamanho adequado da amostra necessária para detectar isso, em vez de realizar cálculos de tamanho da amostra usando estimativas de tamanho provável efeito a partir de dados-piloto .um desenho aleatório foi considerado desnecessário para estimar custos ou selecionar resultados, embora tenha sido avaliado para estimar taxas de recrutamento e retenção para grupos de intervenção e controle ., Sempre que as orientações indicassem a estimativa de uma dimensão do efeito adequada para informar a dimensão da amostra para uma avaliação futura, foi considerado necessário um projecto Aleatório .
Tema 5: design flexível vs. fixo
fontes afirmaram que os estudos exploratórios poderiam empregar um design rígido ou flexível. Com este último, o design pode mudar durante o curso do estudo, o que é útil para fazer mudanças na intervenção, bem como o projeto de avaliação futuro ., Aqui, os dados qualitativos podem ser analisados à medida que são recolhidos, moldando o processo de estudo exploratório, por exemplo , amostragem de pontos de recolha de dados subsequentes, e clarificando as implicações para a eficácia da intervenção .em contrapartida, foram encorajados estudos exploratórios fixos quando se investigava principalmente os futuros parâmetros e processos de avaliação . Pode acontecer que a nomenclatura utilizada em algumas orientações (por exemplo, estudos-piloto que são descritos como versões em miniatura da avaliação) sugira uma distinção entre desenhos mais flexíveis e mais rigorosos., Em algumas orientações, não foi mencionado se as alterações deveriam ser feitas no decurso de um estudo exploratório ou posteriormente, a fim de obter a melhor concepção possível para a avaliação futura .Tema 6: critérios de progressão para um futuro estudo de avaliação, Alguns centravam-se nas incertezas de viabilidade relevantes , enquanto outros destacavam aspectos específicos relativos à relação custo-eficácia , ao aperfeiçoamento das hipóteses causais a testar numa avaliação futura e ao cumprimento dos objectivos de recrutamento . Como discutido nos temas 3 e 4, testes estatísticos para a eficácia e o uso de tamanhos de efeito para cálculos de potência foi advertido por alguns, e assim os critérios baseados em tamanhos de efeito não foram especificados .
uma maior discussão foi dedicada a como pesar evidências de um estudo exploratório que abordava múltiplos objetivos e usava diferentes métodos., Alguns critérios de progressão explicitamente declarados não devem ser considerados como limiares rigorosos, mas sim como orientações que utilizam, por exemplo, um sistema de semáforos com níveis variáveis de aceitabilidade . Outros destacaram uma abordagem realista, afastando-se dos Indicadores Binários para se concentrar no “que é viável e aceitável para quem e em que circunstâncias”. À luz das dificuldades em torno da interpretação das estimativas de efeito, várias fontes recomendaram resultados qualitativos de estudos exploratórios devem ser mais influentes do que os resultados quantitativos .,curiosamente, houve ambiguidade em relação à progressão quando os resultados exploratórios indicaram alterações substanciais na concepção da intervenção ou avaliação. As fontes que analisam esta questão sugeriram que, se forem feitas “alterações extensivas” ou “modificações importantes” a qualquer um deles (note-se que não especificaram o que é qualificado como tal), os investigadores deverão regressar às fases de desenvolvimento exploratório ou de intervenção .,em alternativa, na fase de viabilidade, os investigadores podem identificar problemas fundamentais com a conduta de intervenção ou ensaio e regressar à fase de desenvolvimento, em vez de procederem a um ensaio completo.”(p. 1).no entanto, o limiar a partir do qual as alterações são consideradas “importantes” permaneceu Ambíguo., Embora a orientação do MRC atualizada tenha mudado para um modelo mais iterativo, aceitando que o movimento de volta entre viabilidade/pilotagem e desenvolvimento de intervenção pode por vezes ser necessário, não havia orientação sobre as condições em que o movimento entre estas duas fases deve ocorrer.Tema 7: envolvimento das partes interessadas, os prestadores de intervenção, os destinatários da intervenção, os representantes públicos e os profissionais que possam utilizar as provas apresentadas no ensaio completo) estão envolvidos no planeamento e na execução do estudo exploratório para assegurar que os estudos exploratórios reflictam as realidades do estabelecimento da intervenção . Em particular, foram recomendadas abordagens participativas baseadas na comunidade ., Enquanto muitos destacaram o valor dos stakeholders em comitês de direção de testes e outros grupos de estudo semelhantes , alguns alertaram sobre equipoise entre pesquisadores e stakeholders e também alertaram contra os pesquisadores confundindo o envolvimento dos stakeholders com a pesquisa qualitativa .embora os representantes dos doentes e do público em equipas de investigação possam fornecer um feedback útil sobre a intervenção, tal não constitui uma investigação qualitativa e pode não resultar em dados suficientemente robustos para informar o desenvolvimento adequado da intervenção.”(p. 8).,Tema 8: relatórios de estudos exploratórios recomendações detalhadas para a notificação de estudos exploratórios foram recentemente fornecidas em novas normas consolidadas de relatórios de ensaios (CONSORT) orientações por Eldridge et al. . Além disso, outros pontos recorrentes foram apresentados por outras fontes de orientação. Mais notavelmente, foi recomendado a publicação de estudos exploratórios em revistas de revisão por pares, pois isso pode fornecer informações úteis a outros pesquisadores sobre o que foi feito, o que não funcionou e o que poderia ser mais apropriado ., Um estudo exploratório pode também resultar em múltiplas publicações, mas deve fazer referência a outros trabalhos realizados no mesmo estudo exploratório . Várias fontes de orientação sublinham igualmente que os estudos exploratórios deveriam ser adequadamente rotulados no título/resumo, a fim de permitir uma fácil identificação; no entanto, a nomenclatura sugerida variava consoante as orientações .