Concordância interobservador para avaliação da Classificação de Recomendações, Avaliação, Desenvolvimento e Avaliação (GRADE) em revisores sistemáticos
Concordância interobservador para avaliação da Classificação de Recomendações, Avaliação, Desenvolvimento e Avaliação (GRADE) em revisores sistemáticos
Tipo de documento
Resumo
Descrição
Resumo apresentado na conferência anual da Guidelines International Network (GIN)
Fonte
GIN
Ano de publicação
2021
Referência (Vancouver)
Belli K, Stein C, Gräf D, Colpani V, Falavigna M. Interobserver agreement for the assessment of Grading of Recommendations, Assessment, Development and Evaluation (GRADE) in systematic reviewers. In: GIN Conference Abstract Book; 2021 Oct 25-27; Virtual Conference. G-I-N; 2021. p. 146.
Interobserver agreement for the assessment of Grading of Recommendations, Assessment, Development and Evaluation (GRADE) in systematic reviewers
Document type
Abstract
Description
Abstract presented at the Guidelines International Network (GIN) annual conference
Source
GIN
Publication year
2021
Reference (Vancouver)
Belli K, Stein C, Gräf D, Colpani V, Falavigna M. Interobserver agreement for the assessment of Grading of Recommendations, Assessment, Development and Evaluation (GRADE) in systematic reviewers. In: GIN Conference Abstract Book; 2021 Oct 25-27; Virtual Conference. G-I-N; 2021. p. 146.
Contexto: GRADE é a metodologia padrão para avaliar a certeza da evidência (CoE). No entanto, seu grau de subjetividade associado pode afetar sua confiabilidade. Objetivo: Avaliar a concordância interobservador para GRADE em pesquisadores envolvidos no desenvolvimento de revisões sistemáticas (RS). Métodos: Pesquisamos no PubMed por RS publicadas em 2020 ou 2021 que avaliaram o risco de viés (RoB) dos estudos incluídos com RoB 2.0, mas não classificaram o CoE com GRADE. As RS foram atribuídas aleatoriamente a avaliadores independentes para avaliação do CoE do desfecho principal. Os avaliadores eram profissionais de saúde envolvidos em RS e atividades de desenvolvimento de diretrizes com o Ministério da Saúde do Brasil, mas sem treinamento formal prévio em GRADE. Calculamos a concordância interobservador usando o Kappa de Cohen e Fleiss para 5 domínios GRADE e CoE geral. Resultados: As análises incluíram 36 avaliações de 9 RS, realizadas por 24 pesquisadores. Cada artigo foi revisado por 4 avaliadores independentes. A concordância para CoE foi de 0% entre 4 avaliadores (RoB: 20%; inconsistência: 0%; indireção: 33%; imprecisão: 33%; viés de publicação: 67%). Resultados: para análise pareada (48 pares de avaliadores, excluindo 6 ausentes) para CoE foi de 25% (k=-0,052, p=0,545); 52% discordaram em um nível, 19% em dois e 4% em três. A concordância para o domínio RoB foi de 43% (k= 0,037, p=0,741), inconsistência de 53% (k=0,121, p=0,369), indiretividade de 60% (k=-0,038, p=0,767), imprecisão de 32% (k=0,021, p=0,831) e viés de publicação de 78% (k=0,281, p=0,012). Discussão: Os avaliadores apresentaram baixa concordância entre as avaliações GRADE. Esses resultados reforçam a importância da elaboração e execução de ações/programas de treinamento para as equipes envolvidas no desenvolvimento de RSs e diretrizes.
Notas
O registro foi originalmente publicado em inglês. A versão em português foi traduzida com o apoio de inteligência artificial.
Notes
The record was originally published in English. The Portuguese version was translated with the support of artificial intelligence.
Abstract
Background: GRADE is the standard methodology for assessing the certainty of evidence (CoE). However, its associated degree of subjectivity may affect its reliability. Objective: To assess the interobserver agreement for GRADE in researchers involved in systematic reviews (SR) development. Methods: We searched PubMed for SR published in 2020 or 2021 which assessed risk of bias (RoB) of included studies with RoB 2.0 but did not rated CoE with GRADE. The SRs were randomly assigned to independent evaluators for CoE assessment of main outcome. Evaluators were healthcare professionals involved in SRs and guideline development activities with the Brazilian Ministry of Health, but without previous formal training in GRADE. We calculated interobserver agreement using Cohen's and Fleiss’ Kappa for 5 GRADE domains and overall CoE. Results: Analyzes included 36 assessments of 9 SRs, performed by 24 researchers. Each article was reviewed by 4 independent evaluators. The agreement for CoE was 0% among 4 evaluators (RoB: 20%; inconsistency: 0%; indirectness: 33%; imprecision: 33%; publication bias: 67%). Results: for pairwise analysis (48 pairs of evaluators, excluding 6 missing) for CoE was 25% (k=-0.052, p=0.545); 52% disagreed in one level, 19% in two and 4% in three. The agreement for the domain RoB was 43% (k= 0.037, p=0.741), inconsistency 53% (k=0.121, p=0.369), indirectness 60% (k=-0.038, p=0.767), imprecision 32% (k=0.021, p=0.831) and publication bias 78% (k=0.281, p=0.012). Discussion: Evaluators presented low agreement among GRADE assessments. These results reinforce the importance of preparing and carrying out training actions/programs for teams involved in the development of SRs and guidelines.
