Comparação entre recomendações de quimioterapia geradas por inteligência artificial e por especialistas para câncer de mama com linfonodo positivo
Tipo de documento
Pôster
Descrição
Resumo apresentado na Health Technology Assessment international (HTAi)
Fonte
HTAi
Ano de publicação
2025
Referência (Vancouver)
Magliano CA, Barros B. Comparing AI-Generated And Expert-Driven Chemotherapy Recommendations For Nade-Positive Breast Cancer. In: HTAi Annual Meeting Abstract Book; 2025 Jun; Buenos Aires, Argentina. Health Technology Assessment International, HTAi; 2025. PD36.
Comparing AI-generated and expert-driven chemotherapy recommendations for nade-positive breast cancer
Description
Abstract presented at Health Technology Assessment international (HTAi)
Source
HTAi
Publication year
2025
Reference (Vancouver)
Magliano CA, Barros B. Comparing AI-Generated And Expert-Driven Chemotherapy Recommendations For Nade-Positive Breast Cancer. In: HTAi Annual Meeting Abstract Book; 2025 Jun; Buenos Aires, Argentina. Health Technology Assessment International, HTAi; 2025. PD36.
Introdução: A Inteligência Artificial generativa (IA) está transformando a geração de evidências do mundo real na saúde. Este estudo compara recomendações de quimioterapia para mulheres com câncer de mama com linfonodo positivo fornecidas por um painel Delphi de especialistas com aquelas geradas pelo ChatGPT® e pelo Copilot®. O objetivo é avaliar a concordância e as discrepâncias entre recomendações geradas por IA e por especialistas. Métodos: Um painel Delphi composto por 10 especialistas independentes em câncer de mama, cegados quanto às respostas uns dos outros, participou de uma pesquisa online para avaliar recomendações de quimioterapia em câncer de mama inicial com linfonodo positivo, estratificado por status menopausal e pelo Recurrence Score do Oncotype DX® (RS: 25). ChatGPT e Copilot, utilizando engenharia automática de prompts, abordaram os mesmos cenários como oncologistas baseados em agentes. As recomendações dos especialistas foram resumidas por médias aritméticas, enquanto as respostas da IA foram analisadas quanto à concordância. Um teste t de uma amostra comparou as médias entre o painel Delphi e cada ferramenta de IA. Resultados: As taxas de recomendação de quimioterapia para mulheres pré-menopáusicas pelo painel Delphi, ChatGPT e Copilot foram: RS 25 (100; 80; 60). Para mulheres pós-menopáusicas: RS 25 (94,4; 72,5; 65). Diferenças significativas foram observadas, especialmente nas faixas mais baixas de RS. As diferenças de médias entre o painel Delphi e a IA para pós-menopáusicas com RS >25 e pré-menopáusicas com RS ≤25 foram estatisticamente significativas (p <0,05). Conclusões: As recomendações geradas por IA demonstraram divergência significativa em relação ao painel “padrão-ouro”, especialmente para pacientes pré-menopáusicas. As diferenças observadas em relação às recomendações de especialistas brasileiros provavelmente refletem variações nas práticas locais comparadas aos dados internacionais publicados, que podem ter influenciado os resultados da IA. Esses achados ressaltam a importância contínua dos painéis humanos para considerar variações regionais na tomada de decisão clínica.
Notas
O registro foi originalmente publicado em inglês. A versão em português foi traduzida com o apoio de inteligência artificial.
Abstract
lntroduction: Generative Artificial lntelligence (AI) is transforming the generation of real-world evidence in healthcare. This study compares chemotherapy recommendations for women with nodepositive breast cancer, as provided by a Delphi panei of experts, with those generated by ChatGPT® and Copilot®. The objective is to assess concordance and discrepancies between Algenerated and expert-driven recommendations. Methods A Delphi panei of 10 independent breast cancer experts, blinded to each other's responses, participated in an online survey to evaluate chemotherapy recommendations for early-stage, node-positive breast cancer, stratified by menopausa! status and Oncotype DX® Recurrence Score (RS: 25). ChatGPT and Copilot, using automatic prompt engineering, addressed the sarne scenarios as agent-based oncologists. Expert recommendations were summarized as arithmetic means, while AI responses were analyzed for concordance. A onesample t-test compareci mean estimates between the Delphi panei and each AI tool. Results Chemotherapy recommendation rates for premenopausal women by the Delphi panei, ChatGPT, and Copilot were: RS 25 (100, 80, 60). For postmenopausal women: RS 25 (94.4, 72.5, 65). Significant differences were observed, especially in lower RS ranges. Differences in means between the Delphi panei and AI for postmenopausal RS >25 and premenopausal RS QS were statistically significant (p <O.OS). Conclusions The recommendations from AI demonstrated significant divergence from the "gold standard" panei, especially for premenopausal patients. The observed deviations from Brazilian experts' recommendations likely stem from differences in local practices compareci to international published data, which may have influenced AI outputs. These findings emphasize the continued importance of human paneis to account for regional variations in clinicai decision-making.
Notes
The record was originally published in English. The Portuguese version was translated with the support of artificial intelligence.
