Introdução: Vários países estabeleceram processos de avaliação de tecnologia em saúde (HTA) para dar suporte à tomada de decisões. Considerando o alto volume de submissões processadas por agências de HTA, abordagens para determinar fatores associados à aprovação seriam benéficas. Este estudo teve como objetivo prever a recomendação final do Comitê Nacional de Incorporação de Tecnologia em Saúde (Conitec) usando um algoritmo de processamento de linguagem natural (NLP) para extração de texto. Métodos: Os relatórios de 2012 a 2022 da Conitec (n=389) foram divididos em 75% de dados de treinamento e 25% de dados de teste. A tokenização habilitou modelos de NLP: Least Absolute Shrinkage and Selection Operator (LASSO), regressão logística, support vector machine (SVM), random forest, neural network e Extreme Gradient Boosting (XGBOOST). Os critérios de avaliação incluíram precisão, pontuação da área sob a curva característica de operação do receptor (ROC AUC), precisão e recall. A análise de cluster com k-modes identificou dois clusters (grupo 0 = aprovado, grupo 1 = rejeitado). Resultados: O modelo de rede neural demonstrou as melhores métricas de precisão com uma precisão de 0,815, exatidão de 0,769, ROC AUC de 0,871 e um recall de 0,746. Alguma tokenização identificou que marcadores linguísticos poderiam contribuir para a previsão da decisão de incorporação pelo Comitê Brasileiro de ATS, como a experiência das agências internacionais de ATS e o governo como principal solicitante. A análise de cluster e XGBOOST identificou resultados semelhantes com tecnologias aprovadas com predominância de avaliação de medicamentos, principalmente solicitadas pelo governo, e não aprovadas, principalmente avaliando medicamentos, a indústria como principal solicitante. Conclusões: O modelo de PNL poderia identificar preditores para o processo de decisão final sobre a incorporação de tecnologias em saúde no Sistema Único de Saúde do Brasil, abrindo caminhos para trabalhos futuros usando relatórios de ATS provenientes de outras agências. Este modelo poderia potencialmente melhorar o rendimento dos sistemas de ATS ao apoiar especialistas com previsão/fatores/critérios para aprovação ou não aprovação como uma etapa anterior.
Notas
O registro foi originalmente publicado em inglês. A versão em português foi traduzida com o apoio de inteligência artificial.
Abstract
Introduction: Several countries established health technology assessment (HTA) processes to support decision-making. Consid ering the high volume of submissions processed by HTA agencies, approachesto determinefactors associated with the approval would be beneficial. This study aimed to predict the final recommendation of the National Committee for Health Technology Incorporation (Conitec) using a natural language processing (NLP) algorithm for text extraction. Methods: Conitec’s 2012 to 2022 reports (n=389) were split into 75 percent training and 25 percent testing data.Tokenization enabled NLP models: Least Absolute Shrinkage and Selection Operator (LASSO), logistic regression, support vector machine (SVM), ran dom forest, neural network, and Extreme Gradient Boosting (XGBOOST). Evaluation criteria included accuracy, area under the receiver operating characteristic curve (ROC AUC) score, precision, and recall. Cluster analysis with k-modes identified two clusters (group 0 = approved, group 1 = rejected). Results: The neural network model demonstrated the best accuracy metrics with a precision of 0.815, accuracy of 0.769, ROC AUC of 0.871, and a recall of 0.746. Some tokenization identified that lin guistic markers could contribute to the prediction of incorporation decision by the Brazilian HTA Committee, such as international HTAagencies’experience andthegovernmentasthemainrequester. Cluster and XGBOOST analysis identified similar results with approved technologies with a predominance of drugs assessment, mainly requested by the government, and not approved mostly assessing drugs, the industry as the main requester. Conclusions: The NLP model could identify predictors for the final decision process on the incorporation of health technologies in Brazil’s Unified Health System, opening paths for future work using HTA reports coming from other agencies. This model could potentially improve the throughput of HTA systems by supporting experts with prediction/factors/criteria for approval or nonapproval as an earlier step.
Notes
The record was originally published in English. The Portuguese version was translated with the support of artificial intelligence.
