The role of metrics in peer assessments 

research evaluation

Segnaliamo un interessante articolo, The role of metrics in peer assessments di Liv Langfeldt, Ingvild Reymert e Dag W Aksnes, del Nordic Institute for Studies in Innovation, Research and Education (NIFU),  pubblicato su Research Evaluation ad accesso aperto.

Gli autori presentano i risultati di una indagine condotta attraverso un questionario distribuito in tre paesi (Paesi Bassi, Norvegia e Svezia) in tre diversi ambiti disciplinari (cardiologia, economia e fisica) per capire se le metriche sono considerate parte legittima ed integrante nelle valutazioni tra pari nei diversi contesti della valutazione della ricerca: nella assegnazione di fondi, nella valutazione dei candidati o per identificare la ricerca migliore in un determinato settore disciplinare. 

Gli autori hanno riscontrato che le metriche continuano a svolgere un ruolo significativo nel plasmare queste decisioni, in particolare i revisori con punteggi elevati sugli indicatori bibliometrici sembrano (rispetto ad altri revisori) affidarsi più frequentemente anche alle metriche nelle loro valutazioni. 

L’analisi dei dati è molto interessante, tra le altre cose emerge, come prevedibile, una sensibile differenza di comportamente nei diversi ambiti disciplinari: per gli economisti le metriche hanno un peso maggiore nel processo valutativo rispetto ai cardiologi e ai fisici. Nel complesso le metriche sembrano incidere maggiormente nella revisione delle proposte di sovvenzione e nella valutazione dei candidati per le posizioni accademiche.

Dall’indagine emerge la necessità di comprendere se e come i panel utilizzano le metriche nelle loro valutazioni al fine di fornire processi di revisione equi e trasparenti.

Rispondi

Inserisci i tuoi dati qui sotto o clicca su un'icona per effettuare l'accesso:

Logo di WordPress.com

Stai commentando usando il tuo account WordPress.com. Chiudi sessione /  Modifica )

Foto Twitter

Stai commentando usando il tuo account Twitter. Chiudi sessione /  Modifica )

Foto di Facebook

Stai commentando usando il tuo account Facebook. Chiudi sessione /  Modifica )

Connessione a %s...