The Metric Tide

metric tideLa scorsa settimana è stato pubblicato il Rapporto finale sull’utilizzo di indicatori quantitativi nella valutazione della ricerca commissionato dall’Higher Education Founding Council for England (HEFCE, ente governativo finanziatore del sistema universitario inglese). Nel Rapporto si afferma che un uso più ampio di indicatori quantitativi potrebbe essere utile per la transizione verso un sistema di ricerca più aperto. Tuttavia l’eccessivo utilizzo di questo tipo di indicatori senza un’adeguata peer review può avere conseguenze negative prestandosi ad incomprensioni e contestazioni. Secondo il gruppo di esperti che ha redatto il Rapporto, la valutazione ottenuta tramite l’analisi delle metriche dovrebbe supportare, non sostituire, il giudizio degli esperti e viene ribadito che la peer review, nonostante i suoi difetti e limiti, rimane, al momento, la migliore forma di valutazione qualitativa disponibile. Allo stesso tempo, gli indicatori quantitativi, se accuratamente selezionati e applicati, possono essere un utile complemento ad altre forme di valutazione e di decisione. Nel Rapporto vengono anche elencate quelle che dovrebbero essere le caratteristiche delle “responsible metrics”, metriche utilizzate in maniera responsabile: Robustezza, Umiltà, Trasparenza, Diversità, Riflessività. A corredo del Rapporto, sono stati pubblicati anche una rassegna ragionata della letteratura del settore e una simulazione di valutazione ottenuta utilizzando degli indicatori quantitativi (metriche). Parallelamente, è stato anche aperto uno specifico sito web, Responsible Metrics, per chi fosse interessato a proseguire il dibattito sotto forma di Forum. Su Twitter l’hastag da seguire è: #hefcemetrics

 

Leiden Manifesto

Leiden1La misurazione dell’impatto della ricerca scientifica ai fini della sua valutazione è da sempre tema complesso e controverso. Le attuali modalità di misurazione incentrate sulla valutazione quantitativa sono state messe in discussione da più parti. L’ultima iniziativa in questa direzione è nata in occasione dell’ International Conference on Science and Technology Indicators (STI 2014) tenutasi a Leiden, dedicata al tema della valutazione, dalla quale è scaturito il Leiden Manifesto for Research Metrics.

In questa occasione scienziati e ricercatori si sono espressamente rivolti a coloro che sono preposti alla valutazione della ricerca elaborando una serie di raccomandazioni nel tentativo di arginare gli usi scorretti e gli abusi di utilizzo di metriche e indicatori. Il Manifesto contiene 10 raccomandazioni che, pur essendo note, troppo spesso non vengono prese in considerazione nella fase valutativa. In particolare si consiglia di utilizzare l’analisi quantitativa a supporto di quella qualitativa, essere trasparenti, permettere ai valutati di verificare i dati, tenere conto delle differenze tra aree disciplinari nelle pratiche di pubblicazione e citazione e verificare regolarmente la qualità degli indicatori.

DORA avvia l’iniziativa JIF-less per migliorare la valutazione della ricerca

Dorabibliosan20A pochi giorni dalla pubblicazione del Journal Citation Reports 2013 gli organizzatori della San Francisco Declaration on Research Assessment (DORA), hanno promosso uno spazio del proprio sito web dove vengono illustrati esempi di buone pratiche JIF-less in cui viene messa al primo posto l’attività di ricerca indipendentemente da dove vengono pubblicati i suoi risultati. Questa iniziativa consentirà di realizzare una banca dati di buone pratiche e suggerimenti per migliorare la valutazione della ricerca alla quale tutti sono invitati a partecipareLe pubblicazioni di Bibliosan 2.0 riprenderanno a settembre, buone vacanze a tutti.