The Google Scholar Family: ¿Is it an alternative for the evaluation of science?

Abstract

Tras marcar las acusadas diferencias existentes entre los sistemas tradicionales de información y medición científica (Thomson Reuters con su Web of Science y JCR; Elsevier con Scopus y SJR) y GS (Google Scholar), se desvelan las razones que explican la siguiente paradoja: ¿Cómo siendo tan distintos estos dos mundos pueden ofrecer unos resultados bibliométricos tan idénticos? Se ilustra este fenómeno con los resultados de varios estudios empíricos de ranking de revistas con muestras de diverso tamaño y naturaleza realizadas por el grupo EC3. El porqué de esta similaridad entre productos tan diametralmente divergentes no es otra que su composición: GS, cuyo motor rastrea la red científica y académica sin descaso, incluye en su seno todo el mundo tradicional (cerrado y controlado) al cual añade el mundo abierto y libre que circula en el espacio académico. Se sostiene que hoy día GS es, como fuente de información científica, una seria alternativa a las bases de datos tradicionales y se defiende que los productos bibliométricos derivados del mismo, y en concreto, los rankings de revistas (Google Scholar Metrics) ofrecen resultados tan solventes, fiables y válidos como los ofrecidos por JCR (Journal Citation Reports) o SJR (Scimago Journal Rank). En definitiva, se apuesta por Google Scholar como fuente para la medición científica. Las razones: mide más, pues abarca muchos más documentos (su tamaño duplica o triplica según áreas a sus competidores), es capaz de trabajar con grandes números (sus indicadores bibliométricos alcanzar más tamaño). Mide mejor porque cubre todo tipo de documentos, porque carece de los sesgos geográficos y lingüísticos de que adolecen los sistemas tradicionales. Crece más y lo hace de manera más rápida y sus resultados son estables en el tiempo y ofrecen un margen de error más que tolerable, producto de la falta de control técnico de la información. Es capaz de ofrecer luz donde antes solo existían tinieblas (Humanidades y Ciencias Sociales) Los dos grandes peligros o amenazas para las nuevas herramientas, no son científico ni técnicos, como pueden creer muchos científicos, sino humanos: por un lado, el principal enemigo es su propio creador (Google) que despreciando la exigencia de transparencia propia del ethos científico hace depender a sus productos de su caprichosa y entera voluntad. Por otro, la facilidad con que se pueden manipular sus datos. Desde el momento en que GS automáticamente rastrea, indiza y vacía cualquier documento de apariencia científica que cuelga de un dominio académico por voluntad de un autor sin sufrir ningún control externo previo (el de los repositorios es solo un filtro técnico que no opera sobre los contenidos) abre la posibilidad a que cualquier persona sin escrúpulos pueda manipular a su entero gusto y beneficio documentos que repercuten directamente sobre la evaluación de su producción e impacto bibliométrico. Poner en manos de todos los científicos, que son humanos, las herramientas que permiten manipular la producción y las citas pueden tener consecuencias imprevisibles o pueden convertir a estas herramientas en inservibles.