Artificial intelligence in COVID-19 evidence syntheses was underutilized, but impactful: a methodological study

Abstract

Objective: A rapidly developing scenario like a pandemic requires the prompt production of high-quality systematic reviews, which can be automated using artificial intelligence (AI) techniques. We evaluated the application of AI tools in COVID–19 evidence syntheses. Study design: After prospective registration of the review protocol, we automated the download of all open-access COVID–19 systematic reviews in the COVID–19 Living Overview of Evidence database, indexed them for AI-related keywords, and located those that used AI tools. We compared their journals’ JCR Impact Factor, citations per month, screening workloads, completion times (from pre-registration to preprint or submission to a journal) and AMSTAR–2 methodology assessments (maximum score 13 points) with a set of publication date matched control reviews without AI. Results: Of the 3 999 COVID–19 reviews, 28 (0.7 %, 95 % CI 0.47-1.03 %) made use of AI. On average, compared to controls (n = 64), AI reviews were published in journals with higher Impact Factors (median 8.9 vs. 3.5, P<0.001), and screened more abstracts per author (302.2 vs. 140.3, P=0.009) and per included study (189.0 vs. 365.8, P<0.001) while inspecting less full texts per author (5.3 vs. 14.0, P=0.005). No differences were found in citation counts (0.5 vs. 0.6, P=0.600), inspected full texts per included study (3.8 vs. 3.4, P=0.481), completion times (74.0 vs. 123.0, P=0.205) or AMSTAR–2 (7.5 vs. 6.3, P=0.119). Conclusion: AI was an underutilized tool in COVID–19 systematic reviews. Its usage, compared to reviews without AI, was associated with more efficient screening of literature and higher publication impact. There is scope for the application of AI in automating systematic reviews.

Objetivo: Un escenario dinámico como una pandemia requiere la rápida producción de revisiones sistemáticas de calidad, que pueden automatizarse utilizando inteligencia artificial (IA). Se evaluó el uso de herramientas de IA en las revisiones sistemáticas sobre COVID–19. Diseño del estudio: Tras el registro prospectivo del protocolo del estudio, automatizamos la descarga de todas las revisiones sistemáticas open-access sobre COVID–19 en la base de datos COVID–19 Living Overview of Evidence, las indexamos en busca de palabras clave relacionadas con la IA y localizamos aquellas que utilizaban herramientas de IA. Comparamos el factor de impacto de sus revistas, las citas por mes recibidas, las cargas de trabajo en screening, el tiempo de elaboración (días desde el registro del protocolo hasta el primer preprint o envío a una revista) y la evaluación metodológica AMSTAR–2 (máximo, 13 puntos) con un grupo control de revisiones sistemáticas que no usaron IA emparejadas por fecha de publicación. Resultados: De las 3999 revisiones sobre COVID–19, 28 (0,7%, IC al 95%: 0,471,03 %) hicieron uso de IA. De media, en comparación con los controles (n = 64), las revisiones con IA se publicaron en revistas con mayor factor de impacto (mediana 8,9 vs. 3,5, P<0,001), y examinaron más abstracts por autor (302,2 vs. 140,3, P=0,009) y por estudio incluido (189,0 vs. 365,8, P<0,001), a la vez que inspeccionaron menos full texts por autor (5,3 vs. 14,0, P=0,005). No se encontraron diferencias en las citas recibidas (0,5 vs. 0,6, P=0,600), en full texts inspeccionados por estudio incluido (3,8 vs. 3,4, P=0,481), en los tiempos de elaboración (74 frente a 123, P=0,205) ni en puntuación AMSTAR–2 (7,5 frente a 6,3, P=0,119). Conclusión: La IA fue una herramienta infrautilizada en las revisiones sistemáticas sobre COVID–19. Su uso, en comparación con las revisiones sin IA, se asoció con una selección más eficiente de la literatura y un mayor impacto de publicación. Hay cabida para la aplicación de la IA en la automatización de las revisiones sistemáticas.