Per una riforma della valutazione della ricerca

Initiative for Science in Europe (ISE) ha recentemente pubblicato un rapporto: Centrality of researchers in reforming research assessmen presentato in occasione della Paris Open Science European Conference (OSEC2022) qualche settimana fa. 

Il report identifica 18 azioni che ricercatori, finanziatori, governi, università, enti di ricerca e editori possono intraprendere per riformare l’attuale sistema di valutazione della ricerca nell’ottica di una concreta transizione verso la scienza aperta.

In particolare, il rapporto individua quattro principi essenziali per il successo di una riforma della valutazione della ricerca:

• coinvolgere i ricercatori in tutte le decisioni che riguardano le modifiche del sistema di valutazione della ricerca
• tutte le parti interessate devono attenersi ai principi San Francisco Declaration on Research Assessment (DORA) sulla valutazione della ricerca e del The Leiden Manifesto e abbandonare l’uso di metriche inadeguate
• concordare modalità appropriate di valutazione della ricerca e dei ricercatori identificando adeguati mezzi di valutazione specifici per ogni disciplina; stabilire un adeguato equilibrio tra valutazione qualitativa e quantitativa;  valutare quali metriche o indicatori possono essere eventualmente rilevanti ai fini valutativi
• riconoscere che la riforma del sistema di valutazione richiede risorse e pertanto finanziatori della ricerca, governi e le università dovrebbero fornire ulteriori finanziamenti dedicati alla scienza aperta

Il coinvolgimento diretto dei ricercatori è uno dei punti salienti di questo documento che sottolinea come tutte le parti coinvolte nel processo di valutazione debbano partecipare nel ripensare l’attuale sistema di valutazione avendo chiari quali obiettivi la valutazione si pone.

The role of metrics in peer assessments

Segnaliamo un interessante articolo, The role of metrics in peer assessments di Liv Langfeldt, Ingvild Reymert e Dag W Aksnes, del Nordic Institute for Studies in Innovation, Research and Education (NIFU),  pubblicato su Research Evaluation ad accesso aperto.

Gli autori presentano i risultati di una indagine condotta attraverso un questionario distribuito in tre paesi (Paesi Bassi, Norvegia e Svezia) in tre diversi ambiti disciplinari (cardiologia, economia e fisica) per capire se le metriche sono considerate parte legittima ed integrante nelle valutazioni tra pari nei diversi contesti della valutazione della ricerca: nella assegnazione di fondi, nella valutazione dei candidati o per identificare la ricerca migliore in un determinato settore disciplinare. 

Gli autori hanno riscontrato che le metriche continuano a svolgere un ruolo significativo nel plasmare queste decisioni, in particolare i revisori con punteggi elevati sugli indicatori bibliometrici sembrano (rispetto ad altri revisori) affidarsi più frequentemente anche alle metriche nelle loro valutazioni. 

L’analisi dei dati è molto interessante, tra le altre cose emerge, come prevedibile, una sensibile differenza di comportamente nei diversi ambiti disciplinari: per gli economisti le metriche hanno un peso maggiore nel processo valutativo rispetto ai cardiologi e ai fisici. Nel complesso le metriche sembrano incidere maggiormente nella revisione delle proposte di sovvenzione e nella valutazione dei candidati per le posizioni accademiche.

Dall’indagine emerge la necessità di comprendere se e come i panel utilizzano le metriche nelle loro valutazioni al fine di fornire processi di revisione equi e trasparenti.

Un appello per un cambiamento radicale nella valutazione della ricerca in Spagna. E gli altri?

Questo interessante, e molto attuale, contributo è stato scritto dalla collega Bibliosan Valeria Scotti, del Servizio di documentazione scientifica della Fondazione IRCCS Policlinico San Matteo, che ringraziamo. Nell’augurarvi buona lettura vi anticipiamo che, dopo la consueta pausa estiva, il blog riprenderà a settembre.

La lettera pubblicata il 19 Maggio 2021 da alcuni ricercatori Spagnoli segna un punto di svolta nel mondo della bibliometria. Si tratta di un appello accorato rivolto al mondo scientifico di tale nazione che potrebbe essere sicuramente sottoscritto da molti altri paesi, tra cui l’Italia. La lettera è un invito alle autorità scientifiche nazionali ad abbandonare le attuali politiche di valutazione della ricerca, basate esclusivamente sugli indicatori bibliometrici citazionali o di ranking e su un utilizzo definito ‘tossico’ dell’Impact Factor.

Viene sottolineato ed elencato l’utilizzo delle varie metriche nel mondo scientifico spagnolo da cui emerge una spinta eccessiva per valutare tutto, tutti, e in qualsiasi disciplina, in base alla rivista ove si pubblica. Dopo questa disamina accurata in cui l’utilizzo dell’Impact Factor impera, complice la cultura del “publish or perish”, la lettera esamina i tentativi di valutare in modo differente la ricerca. Partendo dalla Dora Declaration del 2013, si passa per il Leiden Manifesto del 2015, per approdare alle politiche europee che da tempo chiedono, in nome dell’accesso aperto alla scienza, un uso “responsabile delle metriche” (Next-generation metrics).

Questi movimenti suggeriscono che la valutazione della ricerca è entrata in una nuova era. Da tempo ormai si è avuto lo scostamento sempre più verso modelli pluralistici, che tengono conto di vari fattori della ricerca (impatto scientifico e sociale, accessibilità, condivisione ecc.) e non solo della rivista in cui si pubblica. La lettera si conclude con l’ appello ai Ministeri della Scienza e della Ricerca, ai rettori di Università e direttori di centri di ricerca spagnoli, di sottoscrivere e rispettare la dichiarazione DORA e seguire le raccomandazioni per l’uso degli indicatori bibliometrici contenute nel Manifesto di Leiden. Viene inoltre specificato che l’adesione non dovrà essere “solo di facciata”, ma di reale applicazione dei modelli indicati, con l’auspicio che più istituzioni aderiscano a tale appello. La speranza è che questo primo passo possa ispirare molte altre ‘lettere’ dei colleghi europei pronte ad essere spedite ai vari organismi che presiedono la valutazione della ricerca. Solo allora il cambiamento potrà definirsi radicale.

Alt H-Index

Presentiamo un post recentemente pubblicato su Leiden Madtrics, il blog del Centre for Science and Technology Studies dell’Università di Leiden.

Gli autori, Sarah de Rijcke, Ludo Waltman e Thed van Leeuwen, presentano una infografica dove vengono efficacemente illustrati i limiti dell’H Index. In particolare vengono affrontati gli aspetti più critici che presenta l’uso di questo indicatore ai fini della valutazione delle carriere dei ricercatori. Innanzitutto questo indicatore favorisce i ricercatori più anziani rispetto ai loro colleghi più giovani, non permettendo un confronto leale tra ricercatori che si trovano in momenti diversi della carriera. 

Altro limite importante dell’H index è dato dal fatto che non può tener conto delle diverse pratiche di pubblicazione e citazionali che variano a seconda dell’ambito disciplinare dei ricercatori ma che possono variare anche all’interno dello stesso ambito. Ragione per cui alcuni campi della scienza sono favoriti rispetto ad altri.

In conclusione, gli autori avanzano l’esigenza di approcci alla valutazione della ricerca più completi, ovvero che considerino la ricerca in tutti i suoi aspetti (leadership, capacità collaborative, qualità della ricerca… ) piuttosto che limitarsi all’utilizzo di un singolo indicatore che prende in considerazione solo il numero di pubblicazioni e il loro impatto in termini di citazioni, con il rischio, tra l’altro, di favorire condotte poco corrette come ad esempio l’abuso di autocitazioni.

Future competenze in bibliometria

Segnaliamo un interessante post, “Don’t stop thinking about tomorrow!” – Future Competencies in Bibliometrics, pubblicato sul blog The Bibliomagician, che parla delle competenze richieste ai bibliotecari che si occupano di bibliometria.

Il post si basa su un questionario online, e su alcune domande fatte ad un workshop sulla bibliometria, in cui si chiedeva a chi si occupa delle metriche di valutazione della ricerca di identificare le proprie esigenze di formazione e di sviluppo professionale. 

I risultati sono stati molto interessanti, per quanto riguarda la formazione, in dettaglio si sono sottolineate esigenze di formazione e aggiornamento nei seguenti ambiti:

• nuove applicazioni per l’analisi dei dati e statistica di base
• strumenti di visualizzazione dei dati
• questioni di etica e di uso responsabile delle metriche
• elementi di programmazione e utilizzo dell’intelligenza artificiale 
• utilizzo delle API per una acquisizione dei dati più efficiente e automatica

Soprattutto sono risultate molto chiare due tendenze: la richiesta di maggior formazione in quella che viene chiamata la “scienza dei dati” (data science) e di maggiori indicazioni pratiche su un uso etico e responsabile delle metriche.

Oltre alle domande sulle esigenze di formazione, ai partecipanti è stato chiesto quali fossero secondo loro le principali sfide per il futuro della valutazione della ricerca.  La prima grande sfida indicata è stata la difficoltà nel contrastare pratiche di utilizzo della bibliometria “poco responsabili”. La seconda è stata l’importante problematica relativa al monopolio, in continua espansione, degli editori nell’area della bibliometria e la conseguente questione della proprietà commerciale degli indicatori per la valutazione della ricerca.

Valutare o valorizzare la ricerca: percorsi possibili

Segnaliamo un interessante webinar sulla valutazione della ricerca che si terrà l’8 aprile dalle 13:50 alle 15:00.

Questo incontro è il secondo appuntamento degli Open Science Cafè, una serie di webinar sui temi e le novità dal mondo della scienza aperta pensati per la comunità scientifica italiana.

Si parlerà di come i criteri attuali di valutazione della ricerca influenzino profondamente i comportamenti dei ricercatori e di come sia sempre più centrale la necessità di dare più spazio ad un sistema che valorizzi tutte le componenti  del lavoro di ricerca per integrare a pieno i principi della scienza aperta nelle azioni quotidiane dei ricercatori. 

L’incontro è organizzato dal Competence Center di ICDI, in collaborazione con GARR, verrà introdotto da Emma Lazzeri e tenuto da Elena Giglia e da Donatella Castelli.

Per parteciparvi è necessario iscriversi alla piattaforma GARR al seguente link: https://learning.garr.it/enrol/index.php?id=136

Le Article Level Metrics (ALM) di PLoS vanno in pensione

Public Library of Science (PLoS) è stato il primo editore scientifico a proporre l’uso di metriche che fossero alternative e complementari alle metriche tradizionali utilizzate per valutare la produzione scientifica implementando, nel 2009, la piattaforma ALM (Article Level Metrics). 

Da allora, il movimento che ha poi nel tempo appoggiato l’uso delle metriche alternative (le cosiddette altmetrics) ha avuto un tale successo che al suo interno sono nati vari fornitori specializzati nella raccolta e nella cura di metriche relative a come i risultati della ricerca vengono utilizzati e discussi. Altmetric, in particolare, ha superato di gran lunga la portata e le capacità delle ALM e PLoS ha deciso di non tracciare più personalmente le metriche relative ai propri articoli e di affidarsi a quello che è ormai considerato il fornitore di metriche alternative più importante sul mercato.

A partire dalla scorsa settimana, quindi, tutti i dati relativi ai singoli articoli visualizzati sotto la dicitura “Metrics” e “Media coverage” riportano i dati di Altmetric.

Novità per il calcolo dell’Impact Factor

All’inizio di questo autunno, Clarivate Analytics ha annunciato che in futuro calcolerà il suo Journal Impact Factor (JIF) in base alla data di pubblicazione degli articoli sul web e non in base alla loro data di pubblicazione su carta.

Questa decisione “epocale” della Clarivate Analytics nasce dalla consapevolezza che ormai un numero sempre crescente di riviste pubblica gli articoli in versione online prima (in alcuni casi anche con un anticipo di mesi) della loro inclusione formale come parte di un volume/fascicolo programmato e che l’unica modifica che viene fatta a questi articoli è che gli vengono formalmente assegnati volume, fascicolo e numerazione di pagina. 

Il passaggio completo all’utilizzo della data di pubblicazione online per il calcolo del JIF inizierà nel 2022 utilizzando i dati di pubblicazione del 2021. Il 2021 (che si crea utilizzando i dati del 2020) sarà un anno di transizione, in cui le citazioni dei lavori pubblicati anticipatamente online verranno aggiunte al numeratore del calcolo JIF ma escluse dai conteggi nel denominatore.

Queste modifiche al calcolo del JIF erano attese da tempo. Sebbene non sia ancora chiaro come il passaggio dalle date di pubblicazione cartacee a quelle online influenzerà l’ordinamento delle riviste, dovrebbe aiutare a ridurre l’ambiguità e la confusione nel calcolo delle citazioni.

Gaming the metrics. Misconduct and Manipulation in Academic Research

Segnaliamo la recente pubblicazione del volume Gaming the metrics, a cura di Mario Biagioli e Alexandra Lippman.

La crescente dipendenza dalle metriche nella valutazione delle pubblicazioni accademiche ha prodotto forme radicalmente nuove di frode accademica. Al tradizionale “publish or perish” si è infatti aggiunto il monito “impact or perish” ovvero la necessità che la pubblicazione abbia anche un impatto, misurato da parametri quali le citazioni ricevute, ma anche visualizzazioni, follower counts, likes, retweets, download etc.

Gli autori di questo volume mostrano come la necessità di avere un impatto abbia favorito la manipolazione degli indicatori quantitativi portando a nuove forme di cattiva condotta, offrendo una mappa delle numerose frodi accademiche messe in atto, come ad esempio le citazioni tra autori complici (citation rings), peer-review truccate o falsi archivi di preprint.

Il volume, molto interessante, è disponibile anche ad accesso aperto.

Bibliometrics Training Series

La biblioteca dei National Institutes of Health ha da poco reso disponibili, gratuitamente online una serie di 13 corsi dedicati alla bibliometria. La serie nasce sulla base dell’esperienza che la stessa NIH ha maturato offrendo da diversi anni ai propri ricercatori servizi bibliografici quali: Measure Productivity, Detect Collaboration, Identify Research Topics e Assess Citation Impact.

La serie dei seminari, organizzata in aree tematiche, per ogni corso offre, oltre al video, letture supplementari per approfondire l’argomento trattato e, aspetto molto interessante, esercitazioni pratiche per “imparare a fare” bibliometria. Gli argomenti trattati vanno dall’uso delle varie basi dati bibliografiche con finalità bibliometriche, la pulizia dei dati, la creazione di network di collaboratori, misurazione dell’impatto citazionale, metriche alternative etc.
Gli autori suggeriscono di seguire i corsi nell’ordine proposto per poterne beneficiare appieno.

Con l’occasione auguriamo a tutti buone feste.