Contexto: Na educação médica, as revisões sistemáticas têm ocupado um nicho crescente na literatura e são uma ferramenta poderosa para informar a tomada de decisões no ambiente educacional. No entanto, como essas revisões foram planejadas, conduzidas e relatadas ainda não está claro. Objetivo: Avaliar a qualidade metodológica das revisões sistemáticas sobre educação médica. Métodos: Este estudo de meta-pesquisa considerou revisões sistemáticas sobre educação médica disponíveis no MEDLINE (via PubMed) nos últimos dez anos. Os seguintes resultados foram avaliados: (i) características das revisões sistemáticas, (ii) frequência e tipo de ferramenta metodológica e/ou orientação usada para conduzir a revisão sistemática, (iii) adequação aos itens do AMSTAR-2, (iv) relação entre a ferramenta/guia metodológico usado e a adequação do AMSTAR-2 e (v) frequência de revisões sistemáticas que referiram o uso da declaração PRISMA para seus relatórios. Resultados: 48 revisões sistemáticas publicadas entre 2004 e 2023 foram incluídas; 87,5% tinham uma questão intervencionista de interesse, e os resultados avaliados foram predominantemente conhecimento, atitude, habilidades e comportamento. De acordo com a avaliação da ferramenta AMSTAR-2, 93,8% das revisões sistemáticas foram classificadas como de qualidade criticamente baixa; 45,8% utilizaram erroneamente o PRISMA como orientação metodológica e 18,8% utilizaram essa ferramenta como diretriz de relato conforme foi elaborada (Figura 1). Oito revisões (16,6%) seguiram as recomendações metodológicas da Cochrane ou BEME, e três delas foram classificadas como de qualidade baixa ou moderada. A porcentagem média de adequação aos itens do AMSTAR 2 foi maior entre as revisões que relataram o uso de um guia metodológico apropriado do que entre aquelas que não relataram esse uso ou que utilizaram o PRISMA para esse propósito (57,62% versus 33,62%, MD 23,50, IC 95% 11,86-35,13, p = 0,0008). Conclusão: Considerando que a maioria das revisões sistemáticas avaliadas são de qualidade metodológica criticamente baixa, fica evidente a necessidade de orientação e treinamento sobre o processo metodológico de uma revisão sistemática na área de educação médica. Relevância e importância para os pacientes: Essas descobertas aumentam a qualidade metodológica das evidências que dão suporte às estratégias de ensino na educação médica. Essa melhoria pode levar a inovações no treinamento médico ao fornecer métodos mais confiáveis para educar futuros profissionais de saúde.
Notas
O registro foi originalmente publicado em inglês. A versão em português foi traduzida com o apoio de inteligência artificial.
Abstract
Background: In medical education, systematic reviews have occupied a growing niche in literature and are a powerful tool to inform decision-making in the educational environment. However, how these reviews were planned, conducted, and reported is still unclear. Objective: To assess the methodological quality of systematic reviews on medical education. Methods: This meta-research study considered systematic reviews on medical education available in MEDLINE (via PubMed) in the last ten years. The following outcomes were assessed: (i) characteristics of systematic reviews, (ii) frequency and type of methodological tool and/or guidance used for conducting the systematic review, (iii) adequacy to the AMSTAR-2 items, (iv) relation between the methodological tool/guide used and the adequacy of the AMSTAR-2, and (v) frequency of systematic reviews that referred the use of PRISMA statement for their reporting. Results: 48 systematic reviews published between 2004 and 2023 were included; 87.5% had an interventional question of interest, and the outcomes assessed were predominantly knowledge, attitude, skills, and behavior. According to the AMSTAR-2 tool assessment, 93.8% of the systematic reviews were classified as critically low quality; 45.8% erroneously used the PRISMA as methodological guidance and 18.8% used this tool as a reporting guideline as it was designed (Figure 1). Eight reviews (16.6%) followed the methodological recommendations of Cochrane or BEME, and three of them were classified as low or moderate quality. The mean percentage of adequacy to the AMSTAR 2 items was higher among reviews that reported the use of an appropriate methodological guide than among those that did not report this use or that used PRISMA for this purpose (57.62% versus 33.62%, MD 23.50, 95% CI 11.86-35.13, p = 0.0008). Conclusion: Considering that most of the assessed systematic reviews are of critically low methodological quality, there is evident a need for guidance and training on the methodological process of a systematic review in the medical education area. Relevance and importance to patients: These findings enhance the methodological quality of evidence supporting teaching strategies in medical education. This improvement can lead to innovations in medical training by providing more reliable methods for educating future healthcare professionals.
Notes
The record was originally published in English. The Portuguese version was translated with the support of artificial intelligence.
