I ricercatori italiani si auto-citano o citano colleghi molto più che negli altri Paesi del G10. E forse è colpa dei criteri Anvur per la valutazione delle performance di atenei e scienziati
Sembra proprio che ci siamo illusi di essere diventati quasi improvvisamente migliori degli altri in fatto di ricerca scientifica. Secondo uno studio dell’università di Siena e dell’università di Pavia, il vero motivo per cui la ricerca italiana sembrava aver messo il turbo negli ultimi anni e aver superato per peso quella di quasi tutti i Paesi europei (seconda solo al Regno Unito) sarebbe l’adozione di comportamenti opportunistici da parte dei nostri ricercatori, che avrebbero preso ad autocitarsi o a mettersi d’accordo per citarsi a vicenda, alterando così gli indici bibliometrici usati per la valutazione. Un imbroglio? Forse. Ma per gli autori dello studio la responsabilità andrebbe probabilmente cercata anche nel modo in cui la ricerca in Italia viene valutata: i criteri dell’Anvur (l’Agenzia nazionale di valutazione del sistema universitario e della ricerca), che utilizzano le referenze come parametro per dare un punteggio alle performance di dipartimenti, atenei e scienziati stessi, e assegnare fondi e posizioni accademiche.
2010, quando tutto è cambiato
Per capire il contesto in cui ci muoviamo, dobbiamo tornare indietro di qualche anno. Per la precisione al 2010 quando la legge Gelminiridisegnò il sistema della ricerca in tagliando i finanziamenti (già scarsi) e introducendo dei criteri di valutazione basati su indici bibliometrici (numero di pubblicazioni, di citazioni, e h-index del ricercatore). E, in soldoni, se non si superano le soglie bibliometriche, niente fondi per i laboratori e niente abilitazione scientifica nazionale per i ricercatori.
Obiettivi erano ottimizzare le poche risorse e eliminare il nepotismo puntando sulla meritocrazia. E magari anche dare nuovo slancio al settore della ricerca scientifica nazionale. Cosa che in effetti sembrava essersi realizzata: sempre sulla base di questi indici bibliometrici, l’impatto della ricerca italiana è aumentato, tanto che nel 2016 il rapporto di SciVal Analytics dava il nostro Paese al secondo posto nella classifica dei Paesi del G8, inferiore solo al Regno Unito. Addirittura la ricerca italiana pesa di più di quella statunitense.
Il lato oscuro della ricerca italiana
Abbiamo dunque trovato la ricetta giusta per elevare i nostri standard scientifici? Diciamolo subito: no. Una così rapida ascesa dell’Italia nel ranking internazionale (anche alla luce del fatto che le collaborazioni dei nostri ricercatori non sono aumentate, anzi) non poteva non sollevare la curiosità di molti, che giustamente si sono messi a studiare il caso facendo le pulci al sistema e avanzando il sospetto che qualcosa sballi le valutazioni.
Questo qualcosa secondo lo studio di Alberto Baccini, Giuseppe De Nicolao e Eugenio Petrovich, appena pubblicato su Plos One, è l’autoreferenzialità: i ricercatori italiani proprio dal 2010 hanno cominciato a citare sempre più spesso se stessi all’interno di nuovi articoli, ma anche a citare sempre più lavori di altri colleghi e gruppi italiani, generando il sospetto che si siano formati dei club per aiutarsi a vicenda a superare le soglie bibliometriche dell’Anvur.
Analizzando le pubblicazioni contenute nel database Scopus di Elsevier tra il 2000 e il 2016 per i Paesi del G10, i tre ricercatori italiani hanno sviluppato un nuovo indice bibliometrico, l’inwardness, che misura quante delle citazioni totali ricevute da un Paese provengono dal Paese stesso.
Dai risultati è emerso che in tutti i Paesi considerati l’autoreferenzialità è aumentata nel tempo, ma per l’Italia c’è proprio un’impennata a partire dal 2010, l’anno della riforma. Al 2016, circa il 31% delle citazioni italiane proveniva da autori all’interno dei confini italiani, più di qualsiasi altro Paese (a eccezione degli Stati Uniti, la cui situazione però non è comparabile a quella dell’Italia).
Publish or perish, tanto più in Italia
Proprio l’introduzione dei nuovi criteri di valutazione del sistema della ricerca, dunque, è il responsabile più probabile del trend autoreferenziale italiano. Le soglie bibliometriche avrebbero indotto i nostri ricercatori a trovare strategie per sopravvivere, incentivando le auto-citazioni e la creazione di club citazionali (anche se per sapere quanto incidono le une e gli altri sul fenomeno, sottolinea John Ioannidis della Stanford University in California, bisognerebbe andare più a fondo della questione).
Caduta l’illusione, che fare? Ludo Waltman, esperto di bibliometria della Leiden University (Olanda), suggerisce su Science Magazine che il modo di limitare queste discutibili pratiche è quello di introdurre altri indicatori come l’esperienza e le attività di un ricercatore, e di escludere le auto citazioni dal sistema di valutazione italiano. Ma per l’associazione italiana Roars (Return on academic research) si tratta di una soluzione semplicistica e destinata a fallire: “i ricercatori sono estremamente veloci ad adattarsi ai cambiamenti nella science policy e qualsiasi nuovo indicatore non farebbe altro che stimolare strategie di gaming più raffinate, in accordo con la famosa legge di Goodhart (‘Quando una misura diventa un obiettivo, cessa di essere una buona misura’). Noi pensiamo al contrario che l’insegnamento da ricavare sia che non esiste alcuna bacchetta magica – bibliometrica o di altro tipo – che possa gonfiare la performance scientifica di un Paese. Soltanto un massiccio investimento nella ricerca può farlo”.
Potrebbe interessarti anche