-
Ferramentas de IA em revisões sistemáticas: aplicabilidade, limites e transparência metodológica
- Voltar
Título
Ferramentas de IA em revisões sistemáticas: aplicabilidade, limites e transparência metodológica
Tipo de documento
Resumo
Descrição
Resumo apresentado no Simpósio de Saúde Baseada em Evidências (SISBE)
Fonte
SISBE
Ano de publicação
2025
Referência (Vancouver)
Rodrigues AMX, Ferreira CES. Ferramentas de IA em revisões sistemáticas: aplicabilidade, limites e transparência metodológica. In: Simpósio de Saúde Baseada em Evidências 2025 [Internet]. Brasília (DF): Fundação de Ensino e Pesquisa em Ciências da Saúde; 2025. Disponível em: https://repositoriobce.fepecs.edu.br/handle/123456789/1613
Identificador
2025SISBE022
Title
AI tools in systematic reviews: applicability, limitations, and methodological transparency
Document type
Abstract
Description
Abstract presented at the Evidence-Based Health Symposium (SISBE)
Source
SISBE
Publication year
2025
Reference (Vancouver)
Rodrigues AMX, Ferreira CES. Ferramentas de IA em revisões sistemáticas: aplicabilidade, limites e transparência metodológica. In: Simpósio de Saúde Baseada em Evidências 2025 [Internet]. Brasília (DF): Fundação de Ensino e Pesquisa em Ciências da Saúde; 2025. Available from: https://repositoriobce.fepecs.edu.br/handle/123456789/1613
Identifier
2025SISBE022
Resumo
INTRODUÇÃO: As Revisões Sistemáticas são fundamentais para a prática da saúde baseada em evidências, garantindo a qualidade e precisão na síntese do conhecimento científico disponível. Apesar da importância, esses processos são frequentemente longos e trabalhosos, demandando tempo e esforço humano significativos. A incorporação de ferramentas baseadas em Inteligência Artificial (IA) promete otimizar diversas etapas desse processo. Contudo, persistem dúvidas quanto à aplicabilidade e eficácia dessas tecnologias, existindo lacunas claras sobre quais fases específicas podem se beneficiar da IA e quais ferramentas estão disponíveis para uso. OBJETIVOS: O presente estudo buscou elencar as fases da revisão sistemática em que a IA pode ser utilizada, identificando claramente as ferramentas disponíveis para aplicação em cada etapa. MÉTODO: Realizou-se uma revisão narrativa com base em literatura científica e relatórios institucionais publicados até abril de 2025. Foram consultados artigos acadêmicos, documentos técnicos e guias sobre práticas de ciência aberta, ética no uso de IA generativa e diretrizes específicas relacionadas às revisões sistemáticas propostas pela Cochrane e registradas na PROSPERO. A seleção de materiais focou especialmente na aplicação de ferramentas de IA nas etapas das revisões sistemáticas e nos riscos associados ao uso dessas tecnologias, particularmente em relação às alucinações médicas em modelos fundacionais. RESULTADOS: A IA pode ser empregada em diferentes fases da revisão sistemática, com apoio de ferramentas específicas. Na fase de identificação e triagem de estudos, destacam-se o ASReview, que utiliza aprendizado ativo para priorizar leituras, e o Rayyan, que facilita a triagem cega e colaborativa de registros. Durante a extração de dados, ferramentas como o RobotReviewer são úteis para automatizar a coleta de informações relevantes de artigos científicos. Na avaliação de risco de viés, o próprio RobotReviewer também oferece funcionalidades para análise automatizada baseada nas ferramentas da Cochrane, além do próprio GPT fazendo uso de um prompt adequado. Para a síntese narrativa ou quantitativa, sistemas com funcionalidades de geração de texto, como IA generativas assistidas por busca (GPT e DeepSeek, por exemplo), vêm sendo testadas para sumarização de achados. Protocolos da Cochrane recomendam clareza e transparência na aplicação dessas tecnologias, com necessidade de validação manual em etapas críticas. O registro do uso da IA na PROSPERO é recomendado para assegurar transparência e reprodutibilidade, detalhando claramente a extensão e as etapas específicas de sua utilização. Apesar dos benefícios, é preciso mencionar os problemas, tais como as "alucinações", geração de conteúdo incorreto ou fabricado por modelos de IA, que exigem vigilância constante e estratégias de mitigação eficazes, como engenharia de prompts e uso de fontes externas confiáveis para validação. DISCUSSÃO: A IA já automatiza etapas das revisões sistemáticas, como a busca e a síntese de dados, potencializando eficiência e consistência metodológica alinhada aos princípios da ciência aberta. No entanto, a participação humana permanece indispensável em três momentos críticos: formulação das perguntas de pesquisa, seleção dos estudos e interpretação crítica dos resultados obtidos. Uma revisão sistemática eficaz vai além de uma simples síntese dos achados e busca a interpretação crítica, indicando novas direções para futuras investigações. De modo que pesquisadores humanos conseguem problematizar e teorizar, mantendo-se essenciais para assegurar rigor ético e metodológico nas revisões sistemáticas.
Notas
O registro foi originalmente publicado em português. A versão em inglês foi traduzida com o apoio de inteligência artificial.
Abstract
INTRODUCTION: Systematic Reviews are fundamental to evidence-based healthcare practice, ensuring quality and precision in the synthesis of available scientific knowledge. Despite their importance, these processes are often time-consuming and labor-intensive, requiring significant human effort and time. The incorporation of Artificial Intelligence (AI)-based tools promises to optimize several stages of this process. However, doubts remain regarding the applicability and effectiveness of these technologies, with clear gaps regarding which specific phases can benefit from AI and which tools are available for use. OBJECTIVES: This study aimed to identify the stages of systematic reviews in which AI can be applied, clearly outlining the available tools for each stage. METHOD: A narrative review was conducted based on scientific literature and institutional reports published up to April 2025. Academic articles, technical documents, and guidelines on open science practices, ethical use of generative AI, and specific guidelines related to systematic reviews proposed by Cochrane and registered in PROSPERO were consulted. The selection of materials focused especially on the application of AI tools in systematic review stages and the risks associated with the use of these technologies, particularly regarding hallucinations in large language models. RESULTS: AI can be applied in different phases of systematic reviews, supported by specific tools. In the study identification and screening phase, ASReview stands out, using active learning to prioritize article screening, and Rayyan, which facilitates blinded and collaborative screening of records. During data extraction, tools such as RobotReviewer are useful for automating the extraction of relevant information from scientific articles. In risk of bias assessment, RobotReviewer also offers automated analysis functionalities based on Cochrane tools, as well as large language models such as GPT when properly prompted. For narrative or quantitative synthesis, systems with text generation capabilities, such as retrieval-augmented generative AI systems (e.g., GPT and DeepSeek), have been tested for evidence summarization. Cochrane protocols recommend clarity and transparency in the use of these technologies, with mandatory manual validation in critical stages. The registration of AI use in PROSPERO is recommended to ensure transparency and reproducibility, clearly detailing the extent and specific stages of its application. Despite the benefits, issues such as hallucinations—generation of incorrect or fabricated content by AI models—must be highlighted, requiring constant monitoring and mitigation strategies such as prompt engineering and validation using reliable external sources. DISCUSSION: AI already automates stages of systematic reviews such as searching and data synthesis, enhancing efficiency and methodological consistency aligned with open science principles. However, human involvement remains indispensable in three critical stages: research question formulation, study selection, and critical interpretation of results. An effective systematic review goes beyond simple evidence synthesis and requires critical interpretation, indicating new directions for future research. Human researchers are essential for problematization and theorization, ensuring ethical and methodological rigor in systematic reviews.
Notes
The record was originally published in Portuguese. The English version was translated with the support of artificial intelligence.