https://hdl.handle.net/10481/18662 Sun, 19 Apr 2026 00:25:25 GMT 2026-04-19T00:25:25Z https://hdl.handle.net/10481/99414 Principles of Evaluative Bibliometrics in a DORA/CoARA Context Torres-Salinas, Daniel; Arroyo-Machado, Wenceslao; Robinson-García, Nicolás The document, "Principles of Evaluative Bibliometrics in a DORA/CoARA Context," provides a comprehensive examination of evaluative bibliometrics, exploring its role within scientific evaluation. It begins with an overview of bibliometrics, its evolution from the early 20th century, and the theoretical and practical frameworks that have shaped its development. Notably, the work emphasizes the integration of bibliometrics with emerging trends in science evaluation, offering solutions for adapting these methodologies to contemporary evaluative systems. The text outlines five key principles that guide evaluative bibliometrics: (1) the Principle of Support for Decision-Making, (2) the Principle of Collaboration with Experts, (3) the Principle of Respect for Contexts, (4) the Principle of Metric Multidimensionality, and (5) the Principle of Data Verifiability and Openness. Each principle is framed as a flexible and evolving concept that can be adapted to various evaluative contexts. Furthermore, the work underscores the importance of combining quantitative methods with qualitative expertise, advocating for a more inclusive and collaborative approach to scientific evaluation. 1. PREFACE 2. INTRODUCTION Definition and origins The legacy of CWTS Professional perspectives Bibliometric indicators Approach to the principles 3. FUNDAMENTAL PRINCIPLES Principle 1. Principle of support for decision-making Principle 2: Principle of collaboration with experts Principle 3: Principle of respect for contexts Principle 4: Principle of metric multidimensionality Principle 5: Principle of verifiability and openness of data 4. EPILOGUE 5. BIBLIOGRAPHY https://hdl.handle.net/10481/99414 https://hdl.handle.net/10481/89436 Foundations of Narrative Bibliometrics Torres Salinas, Daniel; Orduña-Malea, Enrique; Delgado-Vázquez, Ángel; Gorraiz, Juan; Arroyo Machado, Wenceslao The document 'Foundations of Narrative Bibliometrics' provides an analysis of the evolution of scientific assessment, highlighting the influence of manifestos such as DORA and CoARA in shaping ethical and responsible practices in academia, as well as their assimilation by Spanish scientific policies. It connects this context with the contributions of evaluative bibliometrics, emphasising the transition towards a more integrative approach that advocates for a balance between quantitative and qualitative methods in research evaluation. Furthermore, it underscores how the Narrative Curriculum has emerged as one of the fundamental tools in new evaluation processes, as it allows for the description of the complexity and context of academic achievements. Narrative Bibliometrics is proposed, defined as the use of bibliometric indicators to generate narratives and stories that support the defence and exposition of a scientific curriculum and/or its individual contributions within the framework of a scientific evaluation process. To introduce the reader, it presents, in a non-exhaustive manner, sources, indicators, and practical cases for effectively applying narrative bibliometrics in various scientific evaluation contexts. Hence, this document is offered as an introductory tool for evaluators and researchers for a responsible use of bibliometric indicators. https://hdl.handle.net/10481/89436 https://hdl.handle.net/10481/84534 Informe Evaluación - InfluScience: Científic@s socialmente influyentes: un modelo para medir la transferencia del conocimiento en la sociedad digital (InfluCiencia) Torres Salinas, Daniel nforme de evaluación recibido por parte de la Agencia Estatatal de Investigación para el proyecto Científic@s socialmente influyentes: un modelo para medir la transferencia del conocimiento en la sociedad digital (InfluCiencia) – PID2019-109127RB-I00. Principal researcher: Daniel Torres-Salinas (PI1) & Esteban Romero frías (PI2). Financing Entities : Agencia Estatal de Investigación, Ministerio de Ciencia e Innovación. Call: Convocatoria 2019 de Proyectos de I+D+i. Duration: 01/10/2020-01/10/2022. Type of participation: PI. Funding: 60.500€. Dentro de los objetivos de la Agenda 2030 figuran metas relacionadas con la transferencia de conocimiento para un desarrollo sostenible. Un reflejo de las transformaciones sociales de la última década que han posibilitado en la ciencia un cambio de paradigma, surgiendo así nuevos conceptos y desafíos clave para la evaluación de la investigación desde una nueva perspectiva que permita medir la atención social ofrecida. Una de sus principales consecuencias es la irrupción nuevos indicadores para la evaluación científica conocidos como métricas alternativas (altmetrics), cuyo carácter emergente y captación de la influencia social les hace situarse actualmente como complementos y potenciales sustituidores de las medidas tradicionales. Es por ello que estamos ante un escenario que exige nuevas propuestas que determinen cómo deberíamos medir más adecuadamente, en los nuevos contextos de la sociedad digital, la influencia de las publicaciones y la transferencia social de los científicos españoles respetando, además, un enfoque de género para detectar posibles desigualdades en el impacto social de la investigación. Temas que han interesado a nuestro equipo de investigación, cuyo enfoque se encuentra tanto en la evaluación de la ciencia como en la validación y propuesta de altmétricas. Tomamos de este modo como hipótesis de partida que la influencia social de la investigación científica puede cuantificarse y medirse de forma objetiva empleando plataformas sociales y digitales de carácter público (altmetrics) y que, además, tiene diversas facetas y significado en función de las características de las plataformas donde se difunde y el tipo de público que accede a la información. En consecuencia, el objetivo del proyecto pasa por la creación y validación de un modelo multidimensional (Twitter, Policy Mentions, News Mentions y Wikipedia) para medir la influencia social de los investigadores españoles, lo cual se va ver materializado con la creación de la plataforma web abierta: influciencia y cuatro análisis sectoriales que escalan desde instituciones españolas a países europeos. Todo ello adecuado a las estrategias de la ciencia española y de la Unión Europea. La metodología viene establecida de esta manera en tres grandes fases. El punto de partida está en la recopilación de datos bibliográficos de las bases de datos de Scopus y Web of Science y del agregado altmétrico Altmetric.com, para la creación de una base de datos que unifique publicaciones y su menciones sociales. Partiendo de estos datos se detectarán las publicaciones ubicadas dentro del percentil 5 con mayor atención social y desde ahí se normalizarán e identificarán los científicos más influyentes, todo ello tanto por área de conocimiento como por medio social, teniendo en cuenta también la multidisciplinariedad. Por último, se realizará una recopilación de información complementaria para estudios sectoriales, siendo especialmente relevantes el análisis de las cuentas en Twitter y la recopilación de la producción científica y métricas de diversos países europeos para la elaboración de un análisis comparado. El plan de trabajo establecido para llevar a cabo este proyecto, con una duración de tres años, está conformado por cinco paquetes de trabajo: 1) recogida y procesamiento de datos; 2) desarrollo tecnológico de la plataforma; 3) conceptualización del modelo y análisis de datos; 4) realización de análisis sectorial; 5) actividades de difusión y transferencia centrales.; Within the objectives of the 2030 Agenda are goals related to the transfer of knowledge for sustainable development. This reflects the social transformations of the last decade that have allowed for a paradigm shift in science, giving rise to new concepts and key challenges for research evaluation from a new perspective that allows measuring the social attention provided. One of its main consequences is the emergence of new indicators for scientific evaluation known as alternative metrics (altmetrics). Their emerging nature and capture of social influence currently position them as supplements and potential replacements for traditional measures. Therefore, we are facing a scenario that demands new proposals to determine how we should more adequately measure, in the new contexts of the digital society, the influence of publications and the social transfer of Spanish scientists while also respecting a gender approach to detect possible inequalities in the social impact of research. Topics that have interested our research team, whose focus lies both in the evaluation of science and in the validation and proposal of altmetrics. Thus, we hypothesize that the social influence of scientific research can be quantified and measured objectively using public social and digital platforms (altmetrics) and that it has various facets and meanings depending on the characteristics of the platforms where it is disseminated and the type of audience that accesses the information. Consequently, the aim of the project is to create and validate a multidimensional model (Twitter, Policy Mentions, News Mentions, and Wikipedia) to measure the social influence of Spanish researchers, which will materialize with the creation of the open web platform: influciencia and four sectoral analyses that scale from Spanish institutions to European countries. All of this is tailored to the strategies of Spanish science and the European Union. The methodology is thus established in three main phases. The starting point is the collection of bibliographic data from the Scopus and Web of Science databases and the Altmetric.com aggregate, to create a database that unifies publications and their social mentions. From this data, publications located within the 5th percentile with the most social attention will be detected, and from there the most influential scientists will be normalized and identified, all by both area of knowledge and social medium, also considering multidisciplinarity. Finally, complementary information will be collected for sectoral studies, with the analysis of Twitter accounts and the collection of scientific production and metrics from various European countries for a comparative analysis being especially relevant. The work plan established to carry out this project, with a duration of three years, consists of five work packages: 1) data collection and processing; 2) technological development of the platform; 3) conceptualization of the model and data analysis; 4) sectoral analysis; 5) central dissemination and transfer activities. https://hdl.handle.net/10481/84534 https://hdl.handle.net/10481/84474 Memoria Solicitud - InfluScience: Científic@s socialmente influyentes: un modelo para medir la transferencia del conocimiento en la sociedad digital (InfluCiencia) Torres Salinas, Daniel Memoria presentada al Plan Estatal por la que se obtuvo el proyecto Científic@s socialmente influyentes: un modelo para medir la transferencia del conocimiento en la sociedad digital (InfluCiencia) – PID2019-109127RB-I00. Principal researcher: Daniel Torres-Salinas (PI1) & Esteban Romero frías (PI2). Financing Entities : Agencia Estatal de Investigación, Ministerio de Ciencia e Innovación. Call: Convocatoria 2019 de Proyectos de I+D+i. Duration: 01/10/2020-01/10/2022. Type of participation: PI. Funding: 60.500€. Dentro de los objetivos de la Agenda 2030 figuran metas relacionadas con la transferencia de conocimiento para un desarrollo sostenible. Un reflejo de las transformaciones sociales de la última década que han posibilitado en la ciencia un cambio de paradigma, surgiendo así nuevos conceptos y desafíos clave para la evaluación de la investigación desde una nueva perspectiva que permita medir la atención social ofrecida. Una de sus principales consecuencias es la irrupción nuevos indicadores para la evaluación científica conocidos como métricas alternativas (altmetrics), cuyo carácter emergente y captación de la influencia social les hace situarse actualmente como complementos y potenciales sustituidores de las medidas tradicionales. Es por ello que estamos ante un escenario que exige nuevas propuestas que determinen cómo deberíamos medir más adecuadamente, en los nuevos contextos de la sociedad digital, la influencia de las publicaciones y la transferencia social de los científicos españoles respetando, además, un enfoque de género para detectar posibles desigualdades en el impacto social de la investigación. Temas que han interesado a nuestro equipo de investigación, cuyo enfoque se encuentra tanto en la evaluación de la ciencia como en la validación y propuesta de altmétricas. Tomamos de este modo como hipótesis de partida que la influencia social de la investigación científica puede cuantificarse y medirse de forma objetiva empleando plataformas sociales y digitales de carácter público (altmetrics) y que, además, tiene diversas facetas y significado en función de las características de las plataformas donde se difunde y el tipo de público que accede a la información. En consecuencia, el objetivo del proyecto pasa por la creación y validación de un modelo multidimensional (Twitter, Policy Mentions, News Mentions y Wikipedia) para medir la influencia social de los investigadores españoles, lo cual se va ver materializado con la creación de la plataforma web abierta: influciencia y cuatro análisis sectoriales que escalan desde instituciones españolas a países europeos. Todo ello adecuado a las estrategias de la ciencia española y de la Unión Europea. La metodología viene establecida de esta manera en tres grandes fases. El punto de partida está en la recopilación de datos bibliográficos de las bases de datos de Scopus y Web of Science y del agregado altmétrico Altmetric.com, para la creación de una base de datos que unifique publicaciones y su menciones sociales. Partiendo de estos datos se detectarán las publicaciones ubicadas dentro del percentil 5 con mayor atención social y desde ahí se normalizarán e identificarán los científicos más influyentes, todo ello tanto por área de conocimiento como por medio social, teniendo en cuenta también la multidisciplinariedad. Por último, se realizará una recopilación de información complementaria para estudios sectoriales, siendo especialmente relevantes el análisis de las cuentas en Twitter y la recopilación de la producción científica y métricas de diversos países europeos para la elaboración de un análisis comparado. El plan de trabajo establecido para llevar a cabo este proyecto, con una duración de tres años, está conformado por cinco paquetes de trabajo: 1) recogida y procesamiento de datos; 2) desarrollo tecnológico de la plataforma; 3) conceptualización del modelo y análisis de datos; 4) realización de análisis sectorial; 5) actividades de difusión y transferencia centrales.; Within the objectives of the 2030 Agenda are goals related to the transfer of knowledge for sustainable development. This reflects the social transformations of the last decade that have allowed for a paradigm shift in science, giving rise to new concepts and key challenges for research evaluation from a new perspective that allows measuring the social attention provided. One of its main consequences is the emergence of new indicators for scientific evaluation known as alternative metrics (altmetrics). Their emerging nature and capture of social influence currently position them as supplements and potential replacements for traditional measures. Therefore, we are facing a scenario that demands new proposals to determine how we should more adequately measure, in the new contexts of the digital society, the influence of publications and the social transfer of Spanish scientists while also respecting a gender approach to detect possible inequalities in the social impact of research. Topics that have interested our research team, whose focus lies both in the evaluation of science and in the validation and proposal of altmetrics. Thus, we hypothesize that the social influence of scientific research can be quantified and measured objectively using public social and digital platforms (altmetrics) and that it has various facets and meanings depending on the characteristics of the platforms where it is disseminated and the type of audience that accesses the information. Consequently, the aim of the project is to create and validate a multidimensional model (Twitter, Policy Mentions, News Mentions, and Wikipedia) to measure the social influence of Spanish researchers, which will materialize with the creation of the open web platform: influciencia and four sectoral analyses that scale from Spanish institutions to European countries. All of this is tailored to the strategies of Spanish science and the European Union. The methodology is thus established in three main phases. The starting point is the collection of bibliographic data from the Scopus and Web of Science databases and the Altmetric.com aggregate, to create a database that unifies publications and their social mentions. From this data, publications located within the 5th percentile with the most social attention will be detected, and from there the most influential scientists will be normalized and identified, all by both area of knowledge and social medium, also considering multidisciplinarity. Finally, complementary information will be collected for sectoral studies, with the analysis of Twitter accounts and the collection of scientific production and metrics from various European countries for a comparative analysis being especially relevant. The work plan established to carry out this project, with a duration of three years, consists of five work packages: 1) data collection and processing; 2) technological development of the platform; 3) conceptualization of the model and data analysis; 4) sectoral analysis; 5) central dissemination and transfer activities. https://hdl.handle.net/10481/84474 https://hdl.handle.net/10481/84217 Informe Final - InfluScience: Científic@s socialmente influyentes: un modelo para medir la transferencia del conocimiento en la sociedad digital (InfluCiencia) Torres-Salinas, Daniel; Romero Frías, Esteban INFORME FINAL presentado al Ministerio del siguiente proyecto de investigación: Modalidad: Tipo B Referencia proyecto: PID2019-109127RB-I00 Área: Ciencias Sociales Título Proyecto: Científic@s socialmente influyentes: un modelo para medir la transferencia del conocimiento en la sociedad digital (InfluCiencia) Investigador Principal 1: Daniel Torres Salinas Investigador Principal 2: Esteban Romero Frías Entidad: Universidad de Granada Centro: Facultad de Comunicación y Documentación / Departamento de Información y Comunicación Fecha de inicio: 01/10/2020 Fecha final: 31/05/2023 Duración: 36 Meses Total, concedido: 60.500 https://hdl.handle.net/10481/84217