Usando aprendizado de máquina para otimizar revisões sistemáticas de literatura

Resumo

Introdução: A triagem e seleção de publicações consomem muito tempo ao conduzir revisões sistemáticas de literatura. Atualmente, no campo da cirurgia assistida por robótica (RAS), há uma média de 12 a 15 estudos publicados diariamente, tornando o gerenciamento manual de dados insustentável. Nosso objetivo foi investigar como o aprendizado de máquina (ML) pode ser usado para otimizar os processos manuais de revisões de literatura. Métodos: Novas publicações RAS no PubMed, Scopus e Embase são rotineiramente rastreadas quanto à relevância e, em seguida, marcadas com metadados para auxiliar análises futuras. Uma biblioteca com curadoria de aproximadamente 40.000 publicações RAS marcadas serviu como nosso conjunto de dados de treinamento. Para dar suporte aos esforços manuais de triagem e marcação, vários modelos de ML foram comparados, incluindo regressão logística, árvores de decisão e aumento de gradiente. Todas as implementações de modelos vieram do pacote Python scikitlearn. A métrica de avaliação para este estudo foi a pontuação F1, e os campos de interesse marcados foram tipo de procedimento e abordagem cirúrgica. Os modelos foram treinados em resumos de publicações e comparados com uma pesquisa de palavra-chave de linha de base para medir mudanças no desempenho. Resultados: As descobertas demonstraram que os modelos de ML podem classificar metadados-chave com altos níveis de precisão. O modelo de árvore de decisão rotulou corretamente os cinco procedimentos mais comuns no conjunto de dados, com uma pontuação F1 média de aproximadamente 0,90. Este mesmo modelo previu a abordagem cirúrgica com uma pontuação F1 média de 0,84. É importante observar que diferentes modelos tiveram melhor desempenho em diferentes cenários. Para compensar essa variabilidade, todos os modelos foram alimentados em um classificador de empilhamento — um modelo de conjunto que usa a saída de outros modelos como dados de treinamento de entrada. Conclusões: É evidente que os modelos de ML podem reduzir a carga cognitiva dos bibliotecários clínicos e mudar seu papel de triagem manual de artigos para validação de previsões de ML. O trabalho futuro pode envolver a comparação do desempenho de modelos de ML tradicionais com modelos de linguagem ampla (LLMs) para melhorar ainda mais as pontuações F1 e reduzir os desequilíbrios de classe.