Resumo
Introdução: O sistema GRADE (Grading of Recommendations Assessment, Development and Evalua-tion) apresenta uma metodologia transparente para a avaliação da certeza da evidência em revisões sistemáticas (RS) e diretrizes clínicas, sendo um requisito formal no processo de síntese de evidências adotado pelo Ministério da Saúde (MS). No entanto, uma crítica comum ao método GRADE está voltada a potencial heterogeneidade e subjetividade no processo de avaliação, porém um treinamento formal sobre a metodologia pode aumentar a sua confiabilidade e reprodutibilidade. O objetivo deste trabalho foi verificar os efeitos de um curso GRADE online sobre a concordância na avaliação da certeza da evi-dência de questões de intervenção.Métodos: Sessenta e cinco profissionais vinculados a Núcleos de Avaliação de Tecnologias em Saúde participaram de um curso GRADE online com duração de oito semanas. O curso abordou os domínios que rebaixam (risco de viés, inconsistência, evidência indireta, imprecisão e viés de publicação) ou elevam (gradiente dose-resposta, magnitude de efeito; confundidores residuais) a certeza da evidência conforme o sistema GRADE através de aulas assíncronas e encontros síncronos semanais. As publi-cações foram aleatoriamente distribuídas aos participantes, para a avaliação da certeza da evidência antes (A) e depois (D) do curso, totalizando quatro questões avaliadas por participante. O teste de Gwet AC1 foi utilizado para verificar a concordância multi-avaliador entre as respostas dos participantes e uma resposta padrão para cada SR. A concordância entre os avaliadores (inter-avaliadores) foi analisa-da através do teste de Kappa de Fleiss. Os domínios do GRADE foram dicotomizados para a avaliação de modificações na proporção de respostas antes e depois do curso e comparados através do teste de McNemar. Aprovação no CEP-HMV (64836122.9.0000.5330).Resultados: A frequência média na tutoria online foi de 86,1%. Um aumento na concordância multi-a-valiador (%) de evidência indireta (A: 82,8; D: 86,8), imprecisão (A: 68,7; D: 79,5) e a certeza geral da evidência (A: 34,3; D: 42,5) foi observado após o curso. Alterações discretas foram observadas na taxa de concordância do risco de viés (A: 62,7; D: 69,1), inconsistência (A: 76,0; D: 76,0) e viés de publicação (A: 69,8; D: 74,4). A proporção (%) de avaliadores que rebaixaram a certeza geral da evi-dência foi maior após o curso (A: 55,4; D: 78,4; p=0,008), ocorrendo também uma maior proporção de explicações para o julgamento dos domínios de risco de viés (p=0,006), inconsistência (p=0,005), imprecisão (p=0,01). A concordância inter-avaliadores (%) aumentou nos domínios de risco de viés (A: 23,8; D: 65), inconsistência (A: 39,1; D: 55), evidência indireta (A: 38,1; D: 80), imprecisão (A: 38,1; D: 47,8) e para a certeza geral da evidência (A: 31,8; D: 50) após o curso.Discussão e conclusões: No momento pré-curso, foi observada baixa concordância de avaliação sobre-tudo para os domínios de risco de viés, inconsistência, imprecisão e para a certeza geral da evidência. O curso GRADE online melhorou a consistência e a concordância da avaliação da certeza da evidência. Os cursos online de GRADE possuem potencial para melhorar as habilidades no desenvolvimento meto-dológico para diretrizes clínicas e para a tomada de decisão em avaliações de tecnologia em saúde noo sistema de saúde brasileiro. Financiamento: PROADI-SUS, Ministério da Saúde do Brasil.
