El efecto venenoso de los ‘rankings’ en la investigación

Este año hemos conocido casos de adscripción de investigadores con un alto factor de impacto a universidades de segunda fila, que buscan  subir algunos escalones en la clasificación mundial. Se trata solo de una pequeña muestra de una corrupción sistémica de los indicadores de calidad académica y científica.

Fernando Broncano / SINC

El economista alemán Horst Siebert llamó ‘efecto cobra’ a los efectos indeseados de los incentivos, recordando la medida del gobierno colonial británico de la India cuando tomó la decisión de pagar a los ciudadanos por la entrega de cada serpiente cobra muerta en Delhi, generando una industria de cría de serpientes venenosas.

Así, la conocida serie policial The Wire alude a las técnicas de manipulación de tasas de éxitos por la policía de Baltimore y otros miles de ejemplos que se encuentran fácilmente en todos los ámbitos de las instituciones económicas y políticas. Desgraciadamente, son prácticas habituales en las gerencias de bienes públicos como salud y educación.

Es un fallo sistémico de la sociedad métrica que domina el mundo contemporáneo basado en el uso masivo de indicadores cuantitativos. Los rankings nacieron como dispositivos estadísticos para la información sobre los sistemas complejos en un mundo muy grande y globalizado, pero pronto generaron lo que cae bajo la llamada ‘Ley de Goodhart’ (por el economista Charles Goodhart): “Cuando una medida se convierte en un fin de gestión deja de ser una buena medida”.

De este modo llegamos a la perversión del sistema de clasificaciones de instituciones universitarias en un mundo de campus internacionalizados y globalizados, en los que la atracción de alumnos forma parte de una burbuja económica creciente.

Conviene recordar, aunque sea rápidamente, la historia de cómo un indicador, el factor de impacto, creó un entorno adaptativo de universidades, centros de investigación, revistas científicas y currículos personales.

Citas de pares para obtener reconocimiento

En los albores del actual sistema de producción científica, al final de la II Guerra Mundial, los sociólogos e historiadores de la ciencia elaboraron el concepto de ‘colegio invisible’ para captar el sistema de autoridades de una especialidad o disciplina y desarrollaron la hipótesis de que las citas entre científicos permitirían analizar el grado de reconocimiento y los lazos no visibles en una comunidad de investigación. El alcance de la idea era limitado y relativo a disciplinas y temas de investigación.

Paralelamente, Eugene Garfield, un químico obsesionado por la información, desarrolló, en la década de los 50, el conocido indicador de ‘factor de impacto’ de una publicación que halla la media de citas de los artículos publicados en los dos últimos años de una revista. Fundó el Instituto para la Información Científica (ISI) que comenzó a publicar el Journal Citations Report (JCR), con el objetivo de que las bibliotecas tuviesen información sobre qué revistas suscribir en cada campo científico.

El ISI entró en bancarrota y pasó por un par de instituciones hasta que fue comprado por la sociedad de capital riesgo Barin Private Equity Asia, que creo la empresa de servicios Clarivate Analytics,que posee el mayor banco de datos de producción científica y, a su vez, creó la Web of Science, en la que el factor de impacto es el gran indicador.

El tercer paso en la producción de este enorme ‘efecto cobra’ fue la liberalización de la educación superior en los acuerdos de la General Agreement on Trade in Services (dentro de la Organización Mundial de Comercio). Estos implicaban una regulación mundial para homogeneizar los sistemas universitarios, que pasaron de ser formación o educación a servicios educativos.

La convergencia de las tres ideas convirtió a las clasificaciones en sistemas de evaluación que han generado un ‘efecto cobra’ sistémico en la gestión de la ciencia y de la educación superior.

La publicación por la publicación

Todo este proceso nace de distorsiones que, por más que se han sido criticadas por los especialistas en indicadores, no ha habido forma de controlar. Una creciente suma de declaraciones de instituciones científicas han abogado por el abandono del factor de impacto como medidor del rendimiento personal y como medida de calidad científica. Aunque se ha sustituido progresivamente por indicadores relativizados, como es el de cuartiles, la base causal sigue siendo la base de la evaluación.

Que este inmenso ‘efecto cobra’ se basase en hipótesis controvertidas y discutibles no ha impedido la creación de la burbuja educativa superior como una de las estructuras básicas de la globalización económica actual y de las nuevas geoestrategias de competencia mundial.