El efecto venenoso de los ‘rankings’ en la investigación

El efecto venenoso de los ‘rankings’ en la investigación

El efecto venenoso de los ‘rankings’ en la investigación

 

El sistema mundial de investigación ha promovido una cultura de la publicación por la publicación, según el autor del artículo. / Pixabay

 

Este año hemos conocido casos de adscripción de investigadores con un alto factor de impacto a universidades de segunda fila, que buscan  subir algunos escalones en la clasificación mundial. Se trata solo de una pequeña muestra de una corrupción sistémica de los indicadores de calidad académica y científica.

 

Fernando Broncano / SINC

El economista alemán Horst Siebert llamó ‘efecto cobra’ a los efectos indeseados de los incentivos, recordando la medida del gobierno colonial británico de la India cuando tomó la decisión de pagar a los ciudadanos por la entrega de cada serpiente cobra muerta en Delhi, generando una industria de cría de serpientes venenosas.

Así, la conocida serie policial The Wire alude a las técnicas de manipulación de tasas de éxitos por la policía de Baltimore y otros miles de ejemplos que se encuentran fácilmente en todos los ámbitos de las instituciones económicas y políticas. Desgraciadamente, son prácticas habituales en las gerencias de bienes públicos como salud y educación.

Es un fallo sistémico de la sociedad métrica que domina el mundo contemporáneo basado en el uso masivo de indicadores cuantitativos. Los rankings nacieron como dispositivos estadísticos para la información sobre los sistemas complejos en un mundo muy grande y globalizado, pero pronto generaron lo que cae bajo la llamada ‘Ley de Goodhart’ (por el economista Charles Goodhart): “Cuando una medida se convierte en un fin de gestión deja de ser una buena medida”.

De este modo llegamos a la perversión del sistema de clasificaciones de instituciones universitarias en un mundo de campus internacionalizados y globalizados, en los que la atracción de alumnos forma parte de una burbuja económica creciente.

“Cuando una medida se convierte en un fin de gestión deja de ser una buena medida”  (‘Ley de Goodhart’)

La prensa española ha reflejado estos días diversos ejercicios del ‘efecto cobra’, como el de adscribir a investigadores con un alto factor de impacto a universidades de segunda fila para así subir algunos escalones en el ranking mundial. Se trata solo de una pequeña muestra de una corrupción sistémica de los indicadores de calidad académica y científica.

Conviene recordar, aunque sea rápidamente, la historia de cómo un indicador, el factor de impacto, creó un entorno adaptativo de universidades, centros de investigación, revistas científicas y currículos personales.

 

Citas de pares para obtener reconocimiento

En los albores del actual sistema de producción científica, al final de la II Guerra Mundial, los sociólogos e historiadores de la ciencia elaboraron el concepto de ‘colegio invisible’ para captar el sistema de autoridades de una especialidad o disciplina y desarrollaron la hipótesis de que las citas entre científicos permitirían analizar el grado de reconocimiento y los lazos no visibles en una comunidad de investigación. El alcance de la idea era limitado y relativo a disciplinas y temas de investigación.

Paralelamente, Eugene Garfield, un químico obsesionado por la información, desarrolló, en la década de los 50, el conocido indicador de ‘factor de impacto’ de una publicación que halla la media de citas de los artículos publicados en los dos últimos años de una revista. Fundó el Instituto para la Información Científica (ISI) que comenzó a publicar el Journal Citations Report (JCR), con el objetivo de que las bibliotecas tuviesen información sobre qué revistas suscribir en cada campo científico.

El ISI entró en bancarrota y pasó por un par de instituciones hasta que fue comprado por la sociedad de capital riesgo Barin Private Equity Asia, que creo la empresa de servicios Clarivate Analytics,que posee el mayor banco de datos de producción científica y, a su vez, creó la Web of Science, en la que el factor de impacto es el gran indicador.

El tercer paso en la producción de este enorme ‘efecto cobra’ fue la liberalización de la educación superior en los acuerdos de la General Agreement on Trade in Services (dentro de la Organización Mundial de Comercio). Estos implicaban una regulación mundial para homogeneizar los sistemas universitarios, que pasaron de ser formación o educación a servicios educativos.

Una creciente suma de declaraciones de instituciones científicas han abogado por el abandono del factor de impacto como medidor del rendimiento personal

En Europa, el sistema Bolonia de homogeneización fue una de las etapas de esa liberalización. El efecto fue crear un mercado mundial de servicios educativos que exigía un sistema de información también mundial. Y así nacieron, primero, el ranking Shanghai y, luego, el Times Higher Education y otros ligados a diversos grupos de comunicación. Estos ordenamientos emplean diversos indicadores, pero el factor de impacto de las publicaciones sigue siendo central.

La convergencia de las tres ideas convirtió a las clasificaciones en sistemas de evaluación que han generado un ‘efecto cobra’ sistémico en la gestión de la ciencia y de la educación superior.

 

La publicación por la publicación

Todo este proceso nace de distorsiones que, por más que se han sido criticadas por los especialistas en indicadores, no ha habido forma de controlar. Una creciente suma de declaraciones de instituciones científicas han abogado por el abandono del factor de impacto como medidor del rendimiento personal y como medida de calidad científica. Aunque se ha sustituido progresivamente por indicadores relativizados, como es el de cuartiles, la base causal sigue siendo la base de la evaluación.

Entre los efectos más nefastos, está el que las gerencias de las universidades se hayan convertido en empresas de servicios de títulos cuyo valor de mercado es el del puesto en el ‘ranking’

Mucho más grave ha sido la perversión que ha generado el sistema mundial de investigación: por un lado, ha producido la cultura de la publicación por la publicación. En segundo lugar, ha producido la concentración y el oligopolio de las publicaciones en unas cuantas empresas que acogen a su vez prácticas internas de las revistas para subir en los escalones. En tercer y más nefasto puesto está la perversión de las gerencias de las universidades convertidas en empresas de servicios de títulos cuyo valor de mercado es el del puesto en el ranking.

Que este inmenso ‘efecto cobra’ se basase en hipótesis controvertidas y discutibles no ha impedido la creación de la burbuja educativa superior como una de las estructuras básicas de la globalización económica actual y de las nuevas geoestrategias de competencia mundial.


Fernando Broncano, catedrático de Lógica y Filosofía de la Ciencia en la Universidad Carlos III de Madrid, ha escrito sobre teoría de la racionalidad, epistemología política y teoría de la cultura contemporánea.

Leave a Reply

Tu dirección de correo electrónico no será publicada. Los campos obligatorios están marcados con *