Un appello per un cambiamento radicale nella valutazione della ricerca in Spagna. E gli altri?

Questo interessante, e molto attuale, contributo è stato scritto dalla collega Bibliosan Valeria Scotti, del Servizio di documentazione scientifica della Fondazione IRCCS Policlinico San Matteo, che ringraziamo. Nell’augurarvi buona lettura vi anticipiamo che, dopo la consueta pausa estiva, il blog riprenderà a settembre.

La lettera pubblicata il 19 Maggio 2021 da alcuni ricercatori Spagnoli segna un punto di svolta nel mondo della bibliometria. Si tratta di un appello accorato rivolto al mondo scientifico di tale nazione che potrebbe essere sicuramente sottoscritto da molti altri paesi, tra cui l’Italia. La lettera è un invito alle autorità scientifiche nazionali ad abbandonare le attuali politiche di valutazione della ricerca, basate esclusivamente sugli indicatori bibliometrici citazionali o di ranking e su un utilizzo definito ‘tossico’ dell’Impact Factor.

Viene sottolineato ed elencato l’utilizzo delle varie metriche nel mondo scientifico spagnolo da cui emerge una spinta eccessiva per valutare tutto, tutti, e in qualsiasi disciplina, in base alla rivista ove si pubblica. Dopo questa disamina accurata in cui l’utilizzo dell’Impact Factor impera, complice la cultura del “publish or perish”, la lettera esamina i tentativi di valutare in modo differente la ricerca. Partendo dalla Dora Declaration del 2013, si passa per il Leiden Manifesto del 2015, per approdare alle politiche europee che da tempo chiedono, in nome dell’accesso aperto alla scienza, un uso “responsabile delle metriche” (Next-generation metrics).

Questi movimenti suggeriscono che la valutazione della ricerca è entrata in una nuova era. Da tempo ormai si è avuto lo scostamento sempre più verso modelli pluralistici, che tengono conto di vari fattori della ricerca (impatto scientifico e sociale, accessibilità, condivisione ecc.) e non solo della rivista in cui si pubblica. La lettera si conclude con l’ appello ai Ministeri della Scienza e della Ricerca, ai rettori di Università e direttori di centri di ricerca spagnoli, di sottoscrivere e rispettare la dichiarazione DORA e seguire le raccomandazioni per l’uso degli indicatori bibliometrici contenute nel Manifesto di Leiden. Viene inoltre specificato che l’adesione non dovrà essere “solo di facciata”, ma di reale applicazione dei modelli indicati, con l’auspicio che più istituzioni aderiscano a tale appello. La speranza è che questo primo passo possa ispirare molte altre ‘lettere’ dei colleghi europei pronte ad essere spedite ai vari organismi che presiedono la valutazione della ricerca. Solo allora il cambiamento potrà definirsi radicale.

Future competenze in bibliometria

Segnaliamo un interessante post, “Don’t stop thinking about tomorrow!” – Future Competencies in Bibliometrics, pubblicato sul blog The Bibliomagician, che parla delle competenze richieste ai bibliotecari che si occupano di bibliometria.

Il post si basa su un questionario online, e su alcune domande fatte ad un workshop sulla bibliometria, in cui si chiedeva a chi si occupa delle metriche di valutazione della ricerca di identificare le proprie esigenze di formazione e di sviluppo professionale. 

I risultati sono stati molto interessanti, per quanto riguarda la formazione, in dettaglio si sono sottolineate esigenze di formazione e aggiornamento nei seguenti ambiti:

• nuove applicazioni per l’analisi dei dati e statistica di base
• strumenti di visualizzazione dei dati
• questioni di etica e di uso responsabile delle metriche
• elementi di programmazione e utilizzo dell’intelligenza artificiale 
• utilizzo delle API per una acquisizione dei dati più efficiente e automatica

Soprattutto sono risultate molto chiare due tendenze: la richiesta di maggior formazione in quella che viene chiamata la “scienza dei dati” (data science) e di maggiori indicazioni pratiche su un uso etico e responsabile delle metriche.

Oltre alle domande sulle esigenze di formazione, ai partecipanti è stato chiesto quali fossero secondo loro le principali sfide per il futuro della valutazione della ricerca.  La prima grande sfida indicata è stata la difficoltà nel contrastare pratiche di utilizzo della bibliometria “poco responsabili”. La seconda è stata l’importante problematica relativa al monopolio, in continua espansione, degli editori nell’area della bibliometria e la conseguente questione della proprietà commerciale degli indicatori per la valutazione della ricerca.

Novità per il calcolo dell’Impact Factor

All’inizio di questo autunno, Clarivate Analytics ha annunciato che in futuro calcolerà il suo Journal Impact Factor (JIF) in base alla data di pubblicazione degli articoli sul web e non in base alla loro data di pubblicazione su carta.

Questa decisione “epocale” della Clarivate Analytics nasce dalla consapevolezza che ormai un numero sempre crescente di riviste pubblica gli articoli in versione online prima (in alcuni casi anche con un anticipo di mesi) della loro inclusione formale come parte di un volume/fascicolo programmato e che l’unica modifica che viene fatta a questi articoli è che gli vengono formalmente assegnati volume, fascicolo e numerazione di pagina. 

Il passaggio completo all’utilizzo della data di pubblicazione online per il calcolo del JIF inizierà nel 2022 utilizzando i dati di pubblicazione del 2021. Il 2021 (che si crea utilizzando i dati del 2020) sarà un anno di transizione, in cui le citazioni dei lavori pubblicati anticipatamente online verranno aggiunte al numeratore del calcolo JIF ma escluse dai conteggi nel denominatore.

Queste modifiche al calcolo del JIF erano attese da tempo. Sebbene non sia ancora chiaro come il passaggio dalle date di pubblicazione cartacee a quelle online influenzerà l’ordinamento delle riviste, dovrebbe aiutare a ridurre l’ambiguità e la confusione nel calcolo delle citazioni.

Gaming the metrics. Misconduct and Manipulation in Academic Research

Segnaliamo la recente pubblicazione del volume Gaming the metrics, a cura di Mario Biagioli e Alexandra Lippman.

La crescente dipendenza dalle metriche nella valutazione delle pubblicazioni accademiche ha prodotto forme radicalmente nuove di frode accademica. Al tradizionale “publish or perish” si è infatti aggiunto il monito “impact or perish” ovvero la necessità che la pubblicazione abbia anche un impatto, misurato da parametri quali le citazioni ricevute, ma anche visualizzazioni, follower counts, likes, retweets, download etc.

Gli autori di questo volume mostrano come la necessità di avere un impatto abbia favorito la manipolazione degli indicatori quantitativi portando a nuove forme di cattiva condotta, offrendo una mappa delle numerose frodi accademiche messe in atto, come ad esempio le citazioni tra autori complici (citation rings), peer-review truccate o falsi archivi di preprint.

Il volume, molto interessante, è disponibile anche ad accesso aperto.

Metrics Toolkit

E’ stato recentemente sviluppato uno strumento, il Metrics toolkit, per aiutare ricercatori e valutatori della ricerca a comprendere ed utilizzare al meglio le citazioni, le metriche ricavate dal web e le altmetrics per applicarle in maniera responsabile alla valutazione della ricerca.
Il toolkit fornisce delle schede dettagliate su ciascuna metrica con informazioni su come viene calcolata, su dove è possibile trovarla, su come dovrebbe (e non dovrebbe) essere applicata e su quelli che potrebbero essere i suoi limiti.

Ci sono due modi per utilizzare il Toolkit: si può scorrere un elenco di metriche (Explore metrics) oppure scegliere le metriche che più si addicono al proprio ambito di ricerca (Choose metrics). Con la seconda opzione si possono restringere i risultati della propria ricerca indicando il tipo di impatto che si è interessati ad ottenere (ad esempio, relativo solamente al proprio ambito di ricerca o interdisciplinare), del tipo di documento che si intende pubblicare (ad esempio articolo o dataset) oppure limitandosi al proprio ambito di ricerca.

Sul sito è anche presente una sezione che raggruppa una serie di risorse utili (libri, articoli, siti web) per approfondire la questione delle metriche e della valutazione della ricerca.

Essere o non essere su Twitter, questo è il problema…

Sappiamo da diverse ricerche condotte negli ultimi anni che la presenza attiva su Twitter degli autori di articoli scientifici è un ottimo modo per disseminare il proprio lavoro e può tradursi in un aumento delle citazioni ricevute.
Recentemente è stato pubblicato un nuovo studio che, partendo da questo dato, si è interrogato sull’eventuale relazione tra le citazioni ricevute da un articolo e la presenza su Twitter della rivista sulla quale è stato pubblicato.
L’autore ha preso in esame il ruolo di 350 riviste presenti su Twitter analizzando (grazie a PlumX) in quale misura gli articoli da loro pubblicati, oltre 4000, sono stati citati e twittati. Le riviste sono state suddivise in 4 categorie:

• riviste con un proprio account su Twitter
• riviste il cui proprietario (società scientifiche o professionali) ha un proprio account su Twitter
• riviste il cui editore ha un proprio account su Twitter
• riviste con nessuna presenza su Twitter

I risultati hanno mostrato che gli articoli pubblicati su riviste con un proprio account su Twitter sono più twittati mediamente del 46% rispetto a quelli pubblicati su riviste non presenti sulla piattaforma e che quelli pubblicati su riviste presenti attraverso il proprietario o l’editore, rispettivamente del 36% e del 25%.
Anche le citazioni, dato più interessante, sembrano essere correlate in quanto per gli articoli pubblicati su riviste con un proprio account si registra un aumento delle citazioni in media del 34% e per quelli pubblicati su riviste presenti su Twitter tramite l’editore in media del 32%.
Questi risultati dimostrano che la diffusione tramite questo social media (in questo caso misurata dai tweet) è strettamente correlata all’impatto scientifico (misurato in citazioni). Dall’analisi dei dati la variabile che sembra fare la differenza, in termini di tweet e citazioni ricevute, è il numero dei followers.

Nell’insieme questo studio, il primo del genere, mostra che la presenza su Twitter di una rivista, soprattutto con un proprio account, è fondamentale per incrementare la disseminazione e la visibilità degli articoli pubblicati anche se al tempo stesso solleva la questione di quanto l’impatto della citazione sia un riflesso della disseminazione piuttosto che della qualità della ricerca.

8 mosse per disintossicarsi dall’Impact Factor

Segnaliamo un divertente post recentemente pubblicato da ScienceOpen sull’uso sbagliato da parte del mondo scientifico-accademico dell’Impact Factor (IF). Il post sottolinea che tutti i protagonisti coinvolti nella comunicazione scientifica (autori, editori e finanziatori) hanno una parte di responsabilità in questo meccanismo contorto per il quale, nonostante la diffusa consapevolezza dell’errato uso che si fa dell’IF, esso continua ad essere utilizzato come elemento principale per la valutazione della ricerca. Il post utilizza la metafora dell’IF visto come una dipendenza per i ricercatori e, giocando con questa metafora, propone 8 mosse per liberarsene:

1 Detox on the Leiden Manifesto: invito all’adozione da parte delle istituzioni e dei finanziatori della ricerca dei principi esposti nel Leiden Manifesto

2 Take a DORA nicotine patch: invito a non utilizzare le metriche basate sui periodici per la valutazione della ricerca ma piuttosto valutare la ricerca per i propri meriti ed esplorare nuove metriche

3 Attend “objective evaluation” clinics and bathe in a sea of metrics: invito a basare la valutazione della ricerca sulla peer review e sugli indicatori qualitativi ed usare le metriche quantitative solo come elemento supplementare

4 Vape your way to a deeper understanding of impact factors: capire i limiti dell’IF per poterlo “combattere” efficacemente

5 Chew on the gummy content of the paper: quando possibile, affidarsi alla lettura dell’articolo per la sua valutazione

6 Just quit. Go cold turkey: impegnarsi a non soccombere più alle lusinghe dell’IF

7 Don’t hang around other impact factor junkies:  non collaborare con chi è ancora soggiogato dall’IF

8 Take a metadone hit of sweet sweet altmetrics : invito ad affidarsi alle altmetrics che, offrendo una visione molto precisa sul modo in cui viene riutilizzata la ricerca online, rappresentano un’ottima alternativa nella valutazione della ricerca

Kudos

Kudos è un servizio online che offre gratuitamente ai ricercatori (e con membership alle loro istituzioni) uno strumento per monitorare e massimizzare la visibilità e l’impatto del proprio lavoro. Come funziona? Una volta che il ricercatore si è registrato e ha aggiunto le proprie pubblicazioni al profilo che ha creato, ha la possibilità di aggiungere materiali extra quali commenti/spiegazioni, dati, link a post che ne parlano, in modo da contestualizzare la propria ricerca ed enfatizzare il suo valore nel tempo. Le informazioni possono anche essere condivise automaticamente sui social network. I ricercatori poi possono anche monitorare i dati relativi all’impatto delle proprie pubblicazioni tramite le altmetrics e, grazie ad un accordo con Thomson Reuters, i dati relativi alle citazioni scaricati da Web of Science. Kudos vuole anche essere uno strumento a supporto dei ricercatori per selezionare velocemente, grazie ai materiali extra allegati alle pubblicazioni, le pubblicazioni di interesse tra le tante disponibili online. Il servizio è stato lanciato ad aprile 2014 e già oltre 35.000 ricercatori lo utilizzano.

Leiden Manifesto

La misurazione dell’impatto della ricerca scientifica ai fini della sua valutazione è da sempre tema complesso e controverso. Le attuali modalità di misurazione incentrate sulla valutazione quantitativa sono state messe in discussione da più parti. L’ultima iniziativa in questa direzione è nata in occasione dell’ International Conference on Science and Technology Indicators (STI 2014) tenutasi a Leiden, dedicata al tema della valutazione, dalla quale è scaturito il Leiden Manifesto for Research Metrics.

In questa occasione scienziati e ricercatori si sono espressamente rivolti a coloro che sono preposti alla valutazione della ricerca elaborando una serie di raccomandazioni nel tentativo di arginare gli usi scorretti e gli abusi di utilizzo di metriche e indicatori. Il Manifesto contiene 10 raccomandazioni che, pur essendo note, troppo spesso non vengono prese in considerazione nella fase valutativa. In particolare si consiglia di utilizzare l’analisi quantitativa a supporto di quella qualitativa, essere trasparenti, permettere ai valutati di verificare i dati, tenere conto delle differenze tra aree disciplinari nelle pratiche di pubblicazione e citazione e verificare regolarmente la qualità degli indicatori.

DORA avvia l’iniziativa JIF-less per migliorare la valutazione della ricerca

A pochi giorni dalla pubblicazione del Journal Citation Reports 2013 gli organizzatori della San Francisco Declaration on Research Assessment (DORA), hanno promosso uno spazio del proprio sito web dove vengono illustrati esempi di buone pratiche JIF-less in cui viene messa al primo posto l’attività di ricerca indipendentemente da dove vengono pubblicati i suoi risultati. Questa iniziativa consentirà di realizzare una banca dati di buone pratiche e suggerimenti per migliorare la valutazione della ricerca alla quale tutti sono invitati a partecipare. Le pubblicazioni di Bibliosan 2.0 riprenderanno a settembre, buone vacanze a tutti.