Indicadores para la defensa del impacto científico en convocatorias ISCIII considerando las recomendaciones DORA: guía para solicitantes y evaluadores

Abstract

En la actualidad, los diferentes agentes del sistema de I+D+i están afrontando cambios significativos en los mecanismos de evaluación de la actividad científica. Dichos cambios son consecuencia directa de los diferentes llamamientos y manifiestos por la implantación de prácticas responsables en el uso de los indicadores. Entre los manifiestos más reconocidos se encuentran DORA y Leiden y que han convergido finalmente en la iniciativa CoARA. Tanto DORA como CoARA han tenido un respaldo masivo por parte de las instituciones europeas y estatales. Entre los fundamentos de este nuevo marco evaluativo se encuentran el poner el énfasis en los aspectos cualitativos y en la diversidad de resultados de investigación. Por tanto, acorde a sus directrices, la evaluación de la investigación debería basarse principalmente en juicios cualitativos, con la revisión por pares como elemento central, apoyada por un uso responsable de indicadores cuantitativos (por ejemplo evitando el uso de indicadores descontextualizados o un uso abusivo y exclusivo del Journal Impact Factor). Además, uno de los cambios significativos que conllevan estos nuevos sistemas de evaluación es la implementación del Currículum Narrativo, una filosofía respaldada principalmente por DORA y que trata de evitar los habituales cv basados en la enumeración de méritos, habitualmente descontextualizada y difícil de interpretar. Esto nos obliga, por tanto, a redefinir, de forma escalonada y funcional, cómo describimos nuestros méritos en este contexto narrativo y cómo podemos aportar evidencia cuantitativa a través de indicadores, mediante el uso de la denominada bibliometría narrativa. En este nuevo marco, el objetivo de esta guía es presentar una primera serie de indicadores bibliométricos ampliamente reconocidos y aceptados por gran parte de la comunidad científica. Estos pueden emplearse de forma inmediata para la descripción de aportaciones y currículums, respetando las directrices de DORA (apartado 2). Nuestro propósito es introducir de manera escalonada diversos indicadores bibliométricos que permitan a la comunidad científica complementar otras narrativas solicitadas con diversas métricas en convocatorias inmediatas. En consecuencia, proponemos en esta guía indicadores bibliométricos concretos y accesibles, indicando cómo deben utilizarse y cómo podemos describirlos. Asimismo, esta guía incluye diversos conocimientos básicos a modo de "guía rápida" relacionados con el uso de las plataformas Web of Science, que podrían ser de utilidad a la hora de realizar diferentes tareas de evaluación (apartados 3, 4 y 5). Este documento sirve como herramienta tanto para solicitantes como para evaluadores, permitiéndoles interpretar de manera adecuada y unificada las narrativas presentadas por los solicitantes. En estos momentos de transición, nos esforzamos simplemente por establecer un marco de consenso mínimo para el uso adecuado y funcional de un pequeño número de indicadores, tanto por parte de solicitantes como de evaluadores. El objetivo es mantener una base común y mejorar los procesos de evaluación sin que ello suponga una pérdida de objetividad y rigor, y seguir ofreciendo las garantías evaluativas habituales a los solicitantes. Por ello, además, se ha optado por el uso de fuentes de información ya conocidas, como el Journal Citation Reports, Web of Science y Scopus. Se han seleccionado estas fuentes porque la dimensión a evaluar es la del impacto científico, siendo dichas fuentes reconocidas por la comunidad científica de Ciencias de la Vida y de la Salud. En el futuro, se avanzará hacia el uso de tipos de métricas y aportaciones que midan la multidimensionalidad de los resultados científicos.