L’efecte verinós dels ‘rànquings’ en la recerca

Enguany hem conegut casos d’adscripció d’investigadors amb un alt factor d’impacte a universitats de segona fila, que busquen pujar alguns graons en la classificació mundial. Es tracta només d’una petita mostra d’una corrupció sistèmica dels indicadors de qualitat acadèmica i científica.

Fernando Broncano / SINC

L’economista alemany Horst Siebert va anomenar ‘efecte cobra’ als efectes indesitjats dels incentius, recordant la mesura del govern colonial britànic de l’Índia quan va prendre la decisió de pagar als ciutadans pel lliurament de cada serp cobra morta a Delhi, generant una indústria de cria de serps verinoses.

Així, la coneguda sèrie policial ‘The Wire’ al·ludeix a les tècniques de manipulació de taxes d’èxits per la policia de Baltimore i altres milers d’exemples que es troben fàcilment en tots els àmbits de les institucions econòmiques i polítiques. Desgraciadament, són pràctiques habituals en les gerències de béns públics com a salut i educació.

És una errrada sistèmica de la societat mètrica que domina el món contemporani basat en l’ús massiu d’indicadors quantitatius. Els rànquings van néixer com a dispositius estadístics per a la informació sobre els sistemes complexos en un món molt gran i globalitzat, però aviat van generar el que cau sota l’anomenada ‘Llei de Goodhart’ (per l’economista Charles Goodhart): “Quan una mesura es converteix en una fi de gestió deixa de ser una bona mesura”.

D’aquesta manera arribem a la perversió del sistema de classificacions d’institucions universitàries en un món de campus internacionalitzats i globalitzats, en els quals l’atracció d’alumnes forma part d’una bombolla econòmica creixent.

“Quan una mesura es converteix en una fi de gestió deixa de ser una bona mesura”  (‘Llei de Goodhart’)

La premsa espanyola ha reflectit aquests dies diversos exercicis del ‘efecte cobra’, com el d’adscriure a investigadors amb un alt factor d’impacte a universitats de segona fila per a així pujar alguns graons en el rànquing mundial. Es tracta només d’una petita mostra d’una corrupció sistèmica dels indicadors de qualitat acadèmica i científica.
Convé recordar, encara que sigui ràpidament, la història de com un indicador, el factor d’impacte, va crear un entorn adaptatiu d’universitats, centres de recerca, revistes científiques i currículums personals.

Cites de parells per a obtenir reconeixement

En les albors de l’actual sistema de producció científica, a la fi de la II Guerra Mundial, els sociòlegs i historiadors de la ciència van elaborar el concepte de ‘col·legi invisible’ per a captar el sistema d’autoritats d’una especialitat o disciplina i van desenvolupar la hipòtesi que les cites entre científics permetrien analitzar el grau de reconeixement i els llaços no visibles en una comunitat de recerca. L’abast de la idea era limitat i relatiu a disciplines i temes de recerca.

Paral·lelament, Eugene Garfield, un químic obsessionat per la informació, va desenvolupar, en la dècada dels 50, el conegut indicador de ‘factor d’impacte’ d’una publicació que troba la mitjana de cites dels articles publicats en els dos últims anys d’una revista. Va fundar l’Institut per a la Informació Científica (ISI) que va començar a publicar el Journal Citations Report (JCR), amb l’objectiu que les biblioteques tinguessin informació sobre quines revistes subscriure en cada camp científic.

L’ISI va entrar en fallida i va passar per un parell d’institucions fins que va ser comprat per la societat de capital de risc Barin Private Equity Àsia, que va crear l’empresa de serveis Clarivate Analytics, la qual compte amb el banc de dades més gran de producció científica i, al seu torn, va crear la Web of Science, en la qual el factor d’impacte és el gran indicador.

El tercer pas en la producció d’aquest enorme ‘efecte cobra’ va ser la liberalització de l’educació superior en els acords de la General Agreement on Trade in Services (dins de l’Organització Mundial de Comerç). Aquests implicaven una regulació mundial per a homogeneïtzar els sistemes universitaris, que van passar de ser formació o educació a serveis educatius.

Una creixent suma de declaracions d’institucions científiques han advocat per l’abandonament del factor d’impacte com a mesurador del rendiment personal

A Europa, el sistema Bolonya d’homogeneïtzació va ser una de les etapes d’aquesta liberalització. L’efecte va ser crear un mercat mundial de serveis educatius que exigia un sistema d’informació també mundial. I així van néixer, primer, el rànquing Xangai i, després, el Times Higher Education i altres lligats a diversos grups de comunicació. Aquests ordenaments fan servir diversos indicadors, però el factor d’impacte de les publicacions continua sent central.

La convergència de les tres idees va convertir a les classificacions en sistemes d’avaluació que han generat un ‘efecte cobra’ sistèmic en la gestió de la ciència i de l’educació superior.

La publicació per la publicació

Tot aquest procés neix de distorsions que, per més que s’han estat criticades pels especialistes en indicadors, no hi ha hagut manera de controlar. Una suma creixent de declaracions d’institucions científiques han advocat per l’abandonament del factor d’impacte com a mesurador del rendiment personal i com a mesura de qualitat científica. Encara que s’ha substituït progressivament per indicadors relativitzats, com és el de quartils, la base causal continua sent la base de l’avaluació.

Entre els efectes més nefastos, està el que les gerències de les universitats s’hagin convertit en empreses de serveis de títols el valor de mercat referit al del lloc en el ‘rànquing’

Molt més greu ha estat la perversió que ha generat el sistema mundial de recerca: d’una banda, ha produït la cultura de la publicació per la publicació. En segon lloc, ha produït la concentració i l’oligopoli de les publicacions en unes quantes empreses que acullen al seu torn pràctiques internes de les revistes per a pujar en els graons. En tercer i més nefast lloc està la perversió de les gerències de les universitats convertides en empreses de serveis de títols el valor de mercat dels quals és el del lloc en el rànquing.

Que aquest immens ‘efecte cobra’ es basés en hipòtesis controvertides i discutibles no ha impedit la creació de la bombolla educativa superior com una de les estructures bàsiques de la globalització econòmica actual i de les noves geoestrategias de competència mundial.

Fernando Broncano, catedràtic de Lògica i Filosofia de la Ciència en la Universidad Carlos III de Madrid, ha escrit sobre teoria de la racionalitat, epistemologia política i teoria de la cultura contemporània.