Future competenze in bibliometria

bibliometric-2017Segnaliamo un interessante post, “Don’t stop thinking about tomorrow!” – Future Competencies in Bibliometrics, pubblicato sul blog The Bibliomagician, che parla delle competenze richieste ai bibliotecari che si occupano di bibliometria.

Il post si basa su un questionario online, e su alcune domande fatte ad un workshop sulla bibliometria, in cui si chiedeva a chi si occupa delle metriche di valutazione della ricerca di identificare le proprie esigenze di formazione e di sviluppo professionale. 

I risultati sono stati molto interessanti, per quanto riguarda la formazione, in dettaglio si sono sottolineate esigenze di formazione e aggiornamento nei seguenti ambiti:

  • nuove applicazioni per l’analisi dei dati e statistica di base
  • strumenti di visualizzazione dei dati
  • questioni di etica e di uso responsabile delle metriche
  • elementi di programmazione e utilizzo dell’intelligenza artificiale 
  • utilizzo delle API per una acquisizione dei dati più efficiente e automatica

Soprattutto sono risultate molto chiare due tendenze: la richiesta di maggior formazione in quella che viene chiamata la “scienza dei dati” (data science) e di maggiori indicazioni pratiche su un uso etico e responsabile delle metriche.

Oltre alle domande sulle esigenze di formazione, ai partecipanti è stato chiesto quali fossero secondo loro le principali sfide per il futuro della valutazione della ricerca.  La prima grande sfida indicata è stata la difficoltà nel contrastare pratiche di utilizzo della bibliometria “poco responsabili”. La seconda è stata l’importante problematica relativa al monopolio, in continua espansione, degli editori nell’area della bibliometria e la conseguente questione della proprietà commerciale degli indicatori per la valutazione della ricerca.

Valutare o valorizzare la ricerca: percorsi possibili

valutare la ricercaSegnaliamo un interessante webinar sulla valutazione della ricerca che si terrà l’8 aprile dalle 13:50 alle 15:00.

Questo incontro è il secondo appuntamento degli Open Science Cafè, una serie di webinar sui temi e le novità dal mondo della scienza aperta pensati per la comunità scientifica italiana.

Si parlerà di come i criteri attuali di valutazione della ricerca influenzino profondamente i comportamenti dei ricercatori e di come sia sempre più centrale la necessità di dare più spazio ad un sistema che valorizzi tutte le componenti  del lavoro di ricerca per integrare a pieno i principi della scienza aperta nelle azioni quotidiane dei ricercatori. 

L’incontro è organizzato dal Competence Center di ICDI, in collaborazione con GARR, verrà introdotto da Emma Lazzeri e tenuto da Elena Giglia e da Donatella Castelli.

Per parteciparvi è necessario iscriversi alla piattaforma GARR al seguente link: https://learning.garr.it/enrol/index.php?id=136

Le Article Level Metrics (ALM) di PLoS vanno in pensione

donutPublic Library of Science (PLoS) è stato il primo editore scientifico a proporre l’uso di metriche che fossero alternative e complementari alle metriche tradizionali utilizzate per valutare la produzione scientifica implementando, nel 2009, la piattaforma ALM (Article Level Metrics). 

Da allora, il movimento che ha poi nel tempo appoggiato l’uso delle metriche alternative (le cosiddette altmetrics) ha avuto un tale successo che al suo interno sono nati vari fornitori specializzati nella raccolta e nella cura di metriche relative a come i risultati della ricerca vengono utilizzati e discussi. Altmetric, in particolare, ha superato di gran lunga la portata e le capacità delle ALM e PLoS ha deciso di non tracciare più personalmente le metriche relative ai propri articoli e di affidarsi a quello che è ormai considerato il fornitore di metriche alternative più importante sul mercato.

A partire dalla scorsa settimana, quindi, tutti i dati relativi ai singoli articoli visualizzati sotto la dicitura “Metrics” e “Media coverage” riportano i dati di Altmetric.

Novità per il calcolo dell’Impact Factor

impact factorAll’inizio di questo autunno, Clarivate Analytics ha annunciato che in futuro calcolerà il suo Journal Impact Factor (JIF) in base alla data di pubblicazione degli articoli sul web e non in base alla loro data di pubblicazione su carta.

Questa decisione “epocale” della Clarivate Analytics nasce dalla consapevolezza che ormai un numero sempre crescente di riviste pubblica gli articoli in versione online prima (in alcuni casi anche con un anticipo di mesi) della loro inclusione formale come parte di un volume/fascicolo programmato e che l’unica modifica che viene fatta a questi articoli è che gli vengono formalmente assegnati volume, fascicolo e numerazione di pagina. 

Il passaggio completo all’utilizzo della data di pubblicazione online per il calcolo del JIF inizierà nel 2022 utilizzando i dati di pubblicazione del 2021. Il 2021 (che si crea utilizzando i dati del 2020) sarà un anno di transizione, in cui le citazioni dei lavori pubblicati anticipatamente online verranno aggiunte al numeratore del calcolo JIF ma escluse dai conteggi nel denominatore.2020-jif-article

Queste modifiche al calcolo del JIF erano attese da tempo. Sebbene non sia ancora chiaro come il passaggio dalle date di pubblicazione cartacee a quelle online influenzerà l’ordinamento delle riviste, dovrebbe aiutare a ridurre l’ambiguità e la confusione nel calcolo delle citazioni.

Gaming the metrics. Misconduct and Manipulation in Academic Research

gaming the metricsSegnaliamo la recente pubblicazione del volume Gaming the metrics, a cura di Mario Biagioli e Alexandra Lippman.

La crescente dipendenza dalle metriche nella valutazione delle pubblicazioni accademiche ha prodotto forme radicalmente nuove di frode accademica. Al tradizionale “publish or perish” si è infatti aggiunto il monito “impact or perish” ovvero la necessità che la pubblicazione abbia anche un impatto, misurato da parametri quali le citazioni ricevute, ma anche visualizzazioni, follower counts, likes, retweets, download etc.

Gli autori di questo volume mostrano come la necessità di avere un impatto abbia favorito la manipolazione degli indicatori quantitativi portando a nuove forme di cattiva condotta, offrendo una mappa delle numerose frodi accademiche messe in atto, come ad esempio le citazioni tra autori complici (citation rings), peer-review truccate o falsi archivi di preprint.

Il volume, molto interessante, è disponibile anche ad accesso aperto.

Bibliometrics Training Series

NIHLa biblioteca dei National Institutes of Health ha da poco reso disponibili, gratuitamente online una serie di 13 corsi dedicati alla bibliometria. La serie nasce sulla base dell’esperienza che la stessa NIH ha maturato offrendo da diversi anni ai propri ricercatori servizi bibliografici quali: Measure Productivity, Detect Collaboration, Identify Research Topics e Assess Citation Impact.

La serie dei seminari, organizzata in aree tematiche, per ogni corso offre, oltre al video, letture supplementari per approfondire l’argomento trattato e, aspetto molto interessante, esercitazioni pratiche per “imparare a fare” bibliometria. Gli argomenti trattati vanno dall’uso delle varie basi dati bibliografiche con finalità bibliometriche, la pulizia dei dati, la creazione di network di collaboratori, misurazione dell’impatto citazionale, metriche alternative etc.
Gli autori suggeriscono di seguire i corsi nell’ordine proposto per poterne beneficiare appieno.

Con l’occasione auguriamo a tutti buone feste.

Metric competencies for biomedical librarians: results of a survey

jeahilL’ Evaluation and Metric group della European Association for Health Information and Libraries (EAHIL) ha pubblicato, sul Journal of EAHIL, un articolo che presenta i risultati di un sondaggio volto ad indagare quali sono le conoscenze e quale uso viene fatto dei principali database bibliometrici tradizionali e delle metriche alternative da parte dei bibliotecari biomedici. Il questionario ha ricevuto 173 risposte da 33 paesi diversi.

Dai risultati emerge un forte interesse verso i temi della bibliometria e della valutazione della ricerca, in particolare è emersa la necessità di approfondire la conoscenza delle metriche alternative, il loro funzionamento ed utilizzo, in vista di un’auspicabile coinvolgimento dei bibliotecari a supporto degli utenti e delle amministrazioni nel processo di valutazione. La maggioranza dei partecipanti riconosce, infatti, la necessità di incorporare le nuove metriche nel processo valutazione della ricerca.

In evidenza anche la richiesta di maggiori risorse finanziarie da dedicare alla formazione e partecipazione a seminari e workshop sulla bibliometria, in particolare su altmetrics e identificatori personali (ad esempio ORCID), strumenti quest’ultimi, che stanno acquisendo un ruolo sempre più importante nella ricerca. 

Peeriodicals

peeriodicalsLa scorsa settimana PubPeer, servizio di post publication peer review, ha lanciato un nuovo sito, chiamato Peeriodicals, che permette di creare una rivista online selezionando preprint, o articoli già esistenti, ritenuti interessanti per il proprio ambito di ricerca. Una volta creato un account, la piattaforma Peeriodicals offre tutti gli strumenti necessari per creare e gestire la propria rivista online da soli o collaborando con un comitato editoriale. Nelle intenzioni dei creatori del sito queste nuove riviste, o peeriodicals, dovrebbero essere uno spazio attraverso il quale i ricercatori possano esplorare nuovi approcci alla divulgazione scientifica, in parallelo al tradizionale settore editoriale.
Questa iniziativa si avvicina in parte al concetto degli overlay journals, come Discrete Analysis, e vuole incentivare un diverso modo di pubblicare in cui la selezione e la certificazione della ricerca siano a cura dei ricercatori stessi, soprattutto nella situazione attuale in cui il recente incremento della pubblicazione dei preprint, anche in ambiti diversi dalla fisica e dalla matematica, ha di fatto aumentato la quantità di materiale che può essere reperito in rete che richiede una selezione di tipo qualitativo.

Metrics Toolkit

metrics toolkitE’ stato recentemente sviluppato uno strumento, il Metrics toolkit, per aiutare ricercatori e valutatori della ricerca a comprendere ed utilizzare al meglio le citazioni, le metriche ricavate dal web e le altmetrics per applicarle in maniera responsabile alla valutazione della ricerca.
Il toolkit fornisce delle schede dettagliate su ciascuna metrica con informazioni su come viene calcolata, su dove è possibile trovarla, su come dovrebbe (e non dovrebbe) essere applicata e su quelli che potrebbero essere i suoi limiti.

Ci sono due modi per utilizzare il Toolkit: si può scorrere un elenco di metriche (Explore metrics) oppure scegliere le metriche che più si addicono al proprio ambito di ricerca (Choose metrics). Con la seconda opzione si possono restringere i risultati della propria ricerca indicando il tipo di impatto che si è interessati ad ottenere (ad esempio, relativo solamente al proprio ambito di ricerca o interdisciplinare), del tipo di documento che si intende pubblicare (ad esempio articolo o dataset) oppure limitandosi al proprio ambito di ricerca.

Sul sito è anche presente una sezione che raggruppa una serie di risorse utili (libri, articoli, siti web) per approfondire la questione delle metriche e della valutazione della ricerca.