Metrics Toolkit

metrics toolkitE’ stato recentemente sviluppato uno strumento, il Metrics toolkit, per aiutare ricercatori e valutatori della ricerca a comprendere ed utilizzare al meglio le citazioni, le metriche ricavate dal web e le altmetrics per applicarle in maniera responsabile alla valutazione della ricerca.
Il toolkit fornisce delle schede dettagliate su ciascuna metrica con informazioni su come viene calcolata, su dove è possibile trovarla, su come dovrebbe (e non dovrebbe) essere applicata e su quelli che potrebbero essere i suoi limiti.

Ci sono due modi per utilizzare il Toolkit: si può scorrere un elenco di metriche (Explore metrics) oppure scegliere le metriche che più si addicono al proprio ambito di ricerca (Choose metrics). Con la seconda opzione si possono restringere i risultati della propria ricerca indicando il tipo di impatto che si è interessati ad ottenere (ad esempio, relativo solamente al proprio ambito di ricerca o interdisciplinare), del tipo di documento che si intende pubblicare (ad esempio articolo o dataset) oppure limitandosi al proprio ambito di ricerca.

Sul sito è anche presente una sezione che raggruppa una serie di risorse utili (libri, articoli, siti web) per approfondire la questione delle metriche e della valutazione della ricerca.

Essere o non essere su Twitter, questo è il problema…

twitterSappiamo da diverse ricerche condotte negli ultimi anni che la presenza attiva su Twitter degli autori di articoli scientifici è un ottimo modo per disseminare il proprio lavoro e può tradursi in un aumento delle citazioni ricevute.
Recentemente è stato pubblicato un nuovo studio che, partendo da questo dato, si è interrogato sull’eventuale relazione tra le citazioni ricevute da un articolo e la presenza su Twitter della rivista sulla quale è stato pubblicato.
L’autore ha preso in esame il ruolo di 350 riviste presenti su Twitter analizzando (grazie a PlumX) in quale misura gli articoli da loro pubblicati, oltre 4000, sono stati citati e twittati. Le riviste sono state suddivise in 4 categorie:

  • riviste con un proprio account su Twitter
  • riviste il cui proprietario (società scientifiche o professionali) ha un proprio account su Twitter
  • riviste il cui editore ha un proprio account su Twitter
  • riviste con nessuna presenza su Twitter

I risultati hanno mostrato che gli articoli pubblicati su riviste con un proprio account su Twitter sono più twittati mediamente del 46% rispetto a quelli pubblicati su riviste non presenti sulla piattaforma e che quelli pubblicati su riviste presenti attraverso il proprietario o l’editore, rispettivamente del 36% e del 25%.
Anche le citazioni, dato più interessante, sembrano essere correlate in quanto per gli articoli pubblicati su riviste con un proprio account si registra un aumento delle citazioni in media del 34% e per quelli pubblicati su riviste presenti su Twitter tramite l’editore in media del 32%.
Questi risultati dimostrano che la diffusione tramite questo social media (in questo caso misurata dai tweet) è strettamente correlata all’impatto scientifico (misurato in citazioni). Dall’analisi dei dati la variabile che sembra fare la differenza, in termini di tweet e citazioni ricevute, è il numero dei followers.

Nell’insieme questo studio, il primo del genere, mostra che la presenza su Twitter di una rivista, soprattutto con un proprio account, è fondamentale per incrementare la disseminazione e la visibilità degli articoli pubblicati anche se al tempo stesso solleva la questione di quanto l’impatto della citazione sia un riflesso della disseminazione piuttosto che della qualità della ricerca.

8 mosse per disintossicarsi dall’Impact Factor

RecreateditawhileagohavefunSegnaliamo un divertente post recentemente pubblicato da ScienceOpen sull’uso sbagliato da parte del mondo scientifico-accademico dell’Impact Factor (IF). Il post sottolinea che tutti i protagonisti coinvolti nella comunicazione scientifica (autori, editori e finanziatori) hanno una parte di responsabilità in questo meccanismo contorto per il quale, nonostante la diffusa consapevolezza dell’errato uso che si fa dell’IF, esso continua ad essere utilizzato come elemento principale per la valutazione della ricerca. Il post utilizza la metafora dell’IF visto come una dipendenza per i ricercatori e, giocando con questa metafora, propone 8 mosse per liberarsene:

1 Detox on the Leiden Manifesto: invito all’adozione da parte delle istituzioni e dei finanziatori della ricerca dei principi esposti nel Leiden Manifesto

2 Take a DORA nicotine patch: invito a non utilizzare le metriche basate sui periodici per la valutazione della ricerca ma piuttosto valutare la ricerca per i propri meriti ed esplorare nuove metriche

3 Attend “objective evaluation” clinics and bathe in a sea of metrics: invito a basare la valutazione della ricerca sulla peer review e sugli indicatori qualitativi ed usare le metriche quantitative solo come elemento supplementare

4 Vape your way to a deeper understanding of impact factors: capire i limiti dell’IF per poterlo “combattere” efficacemente

5 Chew on the gummy content of the paper: quando possibile, affidarsi alla lettura dell’articolo per la sua valutazione

6 Just quit. Go cold turkey: impegnarsi a non soccombere più alle lusinghe dell’IF

7 Don’t hang around other impact factor junkies:  non collaborare con chi è ancora soggiogato dall’IF

8 Take a metadone hit of sweet sweet altmetrics : invito ad affidarsi alle altmetrics che, offrendo una visione molto precisa sul modo in cui viene riutilizzata la ricerca online, rappresentano un’ottima alternativa nella valutazione della ricerca

Kudos

kudos

Kudos è un servizio online che offre gratuitamente ai ricercatori (e con membership alle loro istituzioni) uno strumento per monitorare e massimizzare la visibilità e l’impatto del proprio lavoro. Come funziona? Una volta che il ricercatore si è registrato e ha aggiunto le proprie pubblicazioni al profilo che ha creato, ha la possibilità di aggiungere materiali extra quali commenti/spiegazioni, dati, link a post che ne parlano, in modo da contestualizzare la propria ricerca ed enfatizzare il suo valore nel tempo. Le informazioni possono anche essere condivise automaticamente sui social network. I ricercatori poi possono anche monitorare i dati relativi all’impatto delle proprie pubblicazioni tramite le altmetrics e, grazie ad un accordo con Thomson Reuters, i dati relativi alle citazioni scaricati da Web of Science. Kudos vuole anche essere uno strumento a supporto dei ricercatori per selezionare velocemente, grazie ai materiali extra allegati alle pubblicazioni, le pubblicazioni di interesse tra le tante disponibili online. Il servizio è stato lanciato ad aprile 2014 e già oltre 35.000 ricercatori lo utilizzano.

Leiden Manifesto

Leiden1La misurazione dell’impatto della ricerca scientifica ai fini della sua valutazione è da sempre tema complesso e controverso. Le attuali modalità di misurazione incentrate sulla valutazione quantitativa sono state messe in discussione da più parti. L’ultima iniziativa in questa direzione è nata in occasione dell’ International Conference on Science and Technology Indicators (STI 2014) tenutasi a Leiden, dedicata al tema della valutazione, dalla quale è scaturito il Leiden Manifesto for Research Metrics.

In questa occasione scienziati e ricercatori si sono espressamente rivolti a coloro che sono preposti alla valutazione della ricerca elaborando una serie di raccomandazioni nel tentativo di arginare gli usi scorretti e gli abusi di utilizzo di metriche e indicatori. Il Manifesto contiene 10 raccomandazioni che, pur essendo note, troppo spesso non vengono prese in considerazione nella fase valutativa. In particolare si consiglia di utilizzare l’analisi quantitativa a supporto di quella qualitativa, essere trasparenti, permettere ai valutati di verificare i dati, tenere conto delle differenze tra aree disciplinari nelle pratiche di pubblicazione e citazione e verificare regolarmente la qualità degli indicatori.

DORA avvia l’iniziativa JIF-less per migliorare la valutazione della ricerca

Dorabibliosan20A pochi giorni dalla pubblicazione del Journal Citation Reports 2013 gli organizzatori della San Francisco Declaration on Research Assessment (DORA), hanno promosso uno spazio del proprio sito web dove vengono illustrati esempi di buone pratiche JIF-less in cui viene messa al primo posto l’attività di ricerca indipendentemente da dove vengono pubblicati i suoi risultati. Questa iniziativa consentirà di realizzare una banca dati di buone pratiche e suggerimenti per migliorare la valutazione della ricerca alla quale tutti sono invitati a partecipareLe pubblicazioni di Bibliosan 2.0 riprenderanno a settembre, buone vacanze a tutti.

Predatory Metrics


SchloarlyOA
Jeffrey Beall segnala in un post del suo blog Scholarly Open Access alcune aziende che propongono servizi di calcolo dell’impatto delle riviste sulla base di false metriche.
Secondo Beall, queste società sfruttano il fenomeno dei predatory publishers, che pubblicizzano riviste senza IF, per promuovere nuovi indici d’impatto basati su calcoli non attendibili. Solitamente, afferma Beall, queste società si basano (o affermano di basarsi) su citazioni prese da Google Scholar che, non effettuando uno screening qualitativo nell’indicizzare la letteratura online, include anche i cosidetti predatory journals.