Metric competencies for biomedical librarians: results of a survey

L’ Evaluation and Metric group della European Association for Health Information and Libraries (EAHIL) ha pubblicato, sul Journal of EAHIL, un articolo che presenta i risultati di un sondaggio volto ad indagare quali sono le conoscenze e quale uso viene fatto dei principali database bibliometrici tradizionali e delle metriche alternative da parte dei bibliotecari biomedici. Il questionario ha ricevuto 173 risposte da 33 paesi diversi.

Dai risultati emerge un forte interesse verso i temi della bibliometria e della valutazione della ricerca, in particolare è emersa la necessità di approfondire la conoscenza delle metriche alternative, il loro funzionamento ed utilizzo, in vista di un’auspicabile coinvolgimento dei bibliotecari a supporto degli utenti e delle amministrazioni nel processo di valutazione. La maggioranza dei partecipanti riconosce, infatti, la necessità di incorporare le nuove metriche nel processo valutazione della ricerca.

In evidenza anche la richiesta di maggiori risorse finanziarie da dedicare alla formazione e partecipazione a seminari e workshop sulla bibliometria, in particolare su altmetrics e identificatori personali (ad esempio ORCID), strumenti quest’ultimi, che stanno acquisendo un ruolo sempre più importante nella ricerca. 

Peeriodicals

La scorsa settimana PubPeer, servizio di post publication peer review, ha lanciato un nuovo sito, chiamato Peeriodicals, che permette di creare una rivista online selezionando preprint, o articoli già esistenti, ritenuti interessanti per il proprio ambito di ricerca. Una volta creato un account, la piattaforma Peeriodicals offre tutti gli strumenti necessari per creare e gestire la propria rivista online da soli o collaborando con un comitato editoriale. Nelle intenzioni dei creatori del sito queste nuove riviste, o peeriodicals, dovrebbero essere uno spazio attraverso il quale i ricercatori possano esplorare nuovi approcci alla divulgazione scientifica, in parallelo al tradizionale settore editoriale.
Questa iniziativa si avvicina in parte al concetto degli overlay journals, come Discrete Analysis, e vuole incentivare un diverso modo di pubblicare in cui la selezione e la certificazione della ricerca siano a cura dei ricercatori stessi, soprattutto nella situazione attuale in cui il recente incremento della pubblicazione dei preprint, anche in ambiti diversi dalla fisica e dalla matematica, ha di fatto aumentato la quantità di materiale che può essere reperito in rete che richiede una selezione di tipo qualitativo.

Metrics Toolkit

E’ stato recentemente sviluppato uno strumento, il Metrics toolkit, per aiutare ricercatori e valutatori della ricerca a comprendere ed utilizzare al meglio le citazioni, le metriche ricavate dal web e le altmetrics per applicarle in maniera responsabile alla valutazione della ricerca.
Il toolkit fornisce delle schede dettagliate su ciascuna metrica con informazioni su come viene calcolata, su dove è possibile trovarla, su come dovrebbe (e non dovrebbe) essere applicata e su quelli che potrebbero essere i suoi limiti.

Ci sono due modi per utilizzare il Toolkit: si può scorrere un elenco di metriche (Explore metrics) oppure scegliere le metriche che più si addicono al proprio ambito di ricerca (Choose metrics). Con la seconda opzione si possono restringere i risultati della propria ricerca indicando il tipo di impatto che si è interessati ad ottenere (ad esempio, relativo solamente al proprio ambito di ricerca o interdisciplinare), del tipo di documento che si intende pubblicare (ad esempio articolo o dataset) oppure limitandosi al proprio ambito di ricerca.

Sul sito è anche presente una sezione che raggruppa una serie di risorse utili (libri, articoli, siti web) per approfondire la questione delle metriche e della valutazione della ricerca.

Altmetrics e dintorni

Segnaliamo un interessante articolo di Maria Cassella sulla valutazione della ricerca e le altmetrics, La valutazione alternativa: altmetrics e dintorni, pubblicato su AIB Studi vol.57 n.1.

The Metric Tide

La scorsa settimana è stato pubblicato il Rapporto finale sull’utilizzo di indicatori quantitativi nella valutazione della ricerca commissionato dall’Higher Education Founding Council for England (HEFCE, ente governativo finanziatore del sistema universitario inglese). Nel Rapporto si afferma che un uso più ampio di indicatori quantitativi potrebbe essere utile per la transizione verso un sistema di ricerca più aperto. Tuttavia l’eccessivo utilizzo di questo tipo di indicatori senza un’adeguata peer review può avere conseguenze negative prestandosi ad incomprensioni e contestazioni. Secondo il gruppo di esperti che ha redatto il Rapporto, la valutazione ottenuta tramite l’analisi delle metriche dovrebbe supportare, non sostituire, il giudizio degli esperti e viene ribadito che la peer review, nonostante i suoi difetti e limiti, rimane, al momento, la migliore forma di valutazione qualitativa disponibile. Allo stesso tempo, gli indicatori quantitativi, se accuratamente selezionati e applicati, possono essere un utile complemento ad altre forme di valutazione e di decisione. Nel Rapporto vengono anche elencate quelle che dovrebbero essere le caratteristiche delle “responsible metrics”, metriche utilizzate in maniera responsabile: Robustezza, Umiltà, Trasparenza, Diversità, Riflessività. A corredo del Rapporto, sono stati pubblicati anche una rassegna ragionata della letteratura del settore e una simulazione di valutazione ottenuta utilizzando degli indicatori quantitativi (metriche). Parallelamente, è stato anche aperto uno specifico sito web, Responsible Metrics, per chi fosse interessato a proseguire il dibattito sotto forma di Forum. Su Twitter l’hastag da seguire è: #hefcemetrics

 

Leiden Manifesto

La misurazione dell’impatto della ricerca scientifica ai fini della sua valutazione è da sempre tema complesso e controverso. Le attuali modalità di misurazione incentrate sulla valutazione quantitativa sono state messe in discussione da più parti. L’ultima iniziativa in questa direzione è nata in occasione dell’ International Conference on Science and Technology Indicators (STI 2014) tenutasi a Leiden, dedicata al tema della valutazione, dalla quale è scaturito il Leiden Manifesto for Research Metrics.

In questa occasione scienziati e ricercatori si sono espressamente rivolti a coloro che sono preposti alla valutazione della ricerca elaborando una serie di raccomandazioni nel tentativo di arginare gli usi scorretti e gli abusi di utilizzo di metriche e indicatori. Il Manifesto contiene 10 raccomandazioni che, pur essendo note, troppo spesso non vengono prese in considerazione nella fase valutativa. In particolare si consiglia di utilizzare l’analisi quantitativa a supporto di quella qualitativa, essere trasparenti, permettere ai valutati di verificare i dati, tenere conto delle differenze tra aree disciplinari nelle pratiche di pubblicazione e citazione e verificare regolarmente la qualità degli indicatori.

DORA avvia l’iniziativa JIF-less per migliorare la valutazione della ricerca

A pochi giorni dalla pubblicazione del Journal Citation Reports 2013 gli organizzatori della San Francisco Declaration on Research Assessment (DORA), hanno promosso uno spazio del proprio sito web dove vengono illustrati esempi di buone pratiche JIF-less in cui viene messa al primo posto l’attività di ricerca indipendentemente da dove vengono pubblicati i suoi risultati. Questa iniziativa consentirà di realizzare una banca dati di buone pratiche e suggerimenti per migliorare la valutazione della ricerca alla quale tutti sono invitati a partecipare. Le pubblicazioni di Bibliosan 2.0 riprenderanno a settembre, buone vacanze a tutti.