O impacto de um curso online na certeza das taxas de concordância de avaliação de evidências usando GRADE: um estudo antes e depois
Tipo de documento
Resumo
Descrição
Resumo apresentado na conferência anual da Guidelines International Network (GIN)
Fonte
GIN
Ano de publicação
2023
Referência (Vancouver)
Dorneles G, Stein C, Pereira de Araujo C, Parahiba S, Rosa B, Dalmas Gräf D, et al. The impact of an online course on the certainty of evidence assessment agreement rates using GRADE: a before-and-after study. In: GIN Hybrid Conference Abstract Book; 2023 Sep 19-22; Glasgow, UK. G-I-N; 2023. p. 307.
The impact of an online course on the certainty of evidence assessment agreement rates using GRADE: a before-and-after study
Document type
Abstract
Description
Abstract presented at the Guidelines International Network (GIN) annual conference
Source
GIN
Publication year
2023
Reference (Vancouver)
Dorneles G, Stein C, Pereira de Araujo C, Parahiba S, Rosa B, Dalmas Gräf D, et al. The impact of an online course on the certainty of evidence assessment agreement rates using GRADE: a before-and-after study. In: GIN Hybrid Conference Abstract Book; 2023 Sep 19-22; Glasgow, UK. G-I-N; 2023. p. 307.
Contexto: A abordagem GRADE é uma exigência formal do Ministério da Saúde do Brasil para avaliar a certeza da evidência (CoE) de revisões sistemáticas (RS) durante o desenvolvimento de diretrizes. Uma crítica comum à abordagem GRADE é a alta heterogeneidade durante a avaliação do CoE, mas o treinamento formal pode aumentar sua confiabilidade e aplicabilidade. Objetivo: Descrever um curso GRADE online e seu impacto na consistência multiavaliador na avaliação do CoE em RS. Métodos: Sessenta e cinco metodologistas e pesquisadores brasileiros participaram de um curso online ao longo de oito semanas. Aulas assíncronas e reuniões síncronas semanais abordaram o sistema GRADE no contexto da avaliação do CoE. Cada participante analisou aleatoriamente duas RS pré-curso e duas RS pós-curso, e as estatísticas AC1 de Gwet verificaram a concordância entre os avaliadores e a resposta padrão. Resultados: A concordância multiavaliador (%) de indireção (antes: 82,8, “bom”; depois: 86,8, “muito bom”), imprecisão (antes: 68,7, “razoável”; depois: 79,5, “moderado”) e o CoE geral (antes: 34,3, “ruim”; depois: 42,5, “razoável”) aumentou na avaliação GRADE após o curso. A concordância do risco de viés (antes: 62,7, “moderado”; depois: 69,1, “moderado”), inconsistência (antes: 76,0, “moderado”; depois: 76,0, “moderado”) e viés de publicação (antes: 69,8, “moderado”; depois: 74,4, “moderado”) teve pequenas alterações. Discussão: Um curso GRADE online melhorou a consistência geral da avaliação do CoE realizada por pesquisadores brasileiros. Além disso, essa análise sugeriu que os riscos de viés, inconsistência e viés de publicação precisam ser mais discutidos em sala de aula para aumentar a consistência entre avaliadores.
Notas
O registro foi originalmente publicado em inglês. A versão em português foi traduzida com o apoio de inteligência artificial.
Notes
The record was originally published in English. The Portuguese version was translated with the support of artificial intelligence.
Abstract
Background: The GRADE approach is a formal requirement of the Brazilian Ministry of Health to assess the certainty of evidence (CoE) of systematic reviews (SR) during guideline development. A common criticism of the GRADE approach is the high heterogeneity during the assessment of the CoE, but formal training may increase its reliability and applicability. Objective: To describe an online-based GRADE course and its impact on multi-rater consistency in the evaluation of the CoE in SR. Methods: Sixty-five Brazilian methodologists and researchers participated in an online course over eight weeks. Asynchronous lessons and weekly synchronous meetings addressed the GRADE system in the context of CoE assessment. Each participant randomly analyzed two SR pre-course and two SR post-course, and Gwet’s AC1 statistics verified the agreement between raters and the standard response. Results: Multi-rater agreement (%) of indirectness (before: 82.8, “good”; after: 86.8, “very good”), imprecision (before: 68.7, “fair”; after: 79.5, “moderate”), and the overall CoE (before: 34.3, “poor”; after: 42.5, “fair”) increased in the GRADE assessment after the course. The agreement of risk of bias (before: 62.7, “moderate; after: 69.1, “moderate”), inconsistency (before: 76.0, “moderate”; after: 76.0, “moderate”) and publication bias (before: 69.8, “moderate”; after: 74.4, “moderate”) had small changes. Discussion: An online GRADE course improved the overall consistency of the CoE assessment performed by Brazilian researchers. In addition, this analysis hinted that the risk of bias, inconsistency and publication bias domains need to be further discussed in class to increase inter rater consistency.
