Uusi erityisesti tieteellisten seurojen jäsenille suunnattu matalan kynnyksen kysymyskanava avoimesta tieteestä pureutuu ensimmäisessä osassaan metriikan käytön rajoihin ja edellytyksiin.
Julkaisumetriikan käyttöön tutkimuksen arvioinnissa liittyy kysymyksiä ja negatiivisia mielleyhtymiä. Metriikkaa käytetään nykyisin apuvälineenä esimerkiksi päätöksenteossa, tutkimuksen rahoituksessa sekä tutkimusorganisaatioiden hallinnossa. Kaikille ei ole selkeää, miten ja missä metriikkaa voidaan soveltaa. Voidaanko metriikkaa käyttää arviointikriteerinä ja missä menevät sen käytön rajat?
Mitä julkaisumetriikalla tarkoitetaan?
Bibliometriikalla, tai julkaisumetriikalla (biblos=kirja, metro=mitata, kreikk.) tarkoitetaan julkaisujen tilastollista analysointia, eli julkaisujen mittaamista. Analyysin määrällisinä indikaattoreina voivat toimia esimerkiksi julkaisujen ja viittausten määrät. (Forsman 2022) Karkeasti muotoiltuna analyysit ovat käytössä esimerkiksi rekrytointitilanteissa sen mukaan, kuinka paljon artikkeleita on julkaistu arvostetuissa lehdissä ja kuinka paljon näihin julkaisuihin on viitattu.
Metriikan käytön kritiikki liittyy laajempaan kansainväliseen keskusteluun tutkijanarvioinnin uudistamisesta. Kansainvälisen keskustelun lähtökohtana on, että vastuullinen tutkimusmetriikan käyttö voi olla osa kokonaisvaltaista arviointia, jossa eri menetelmät täydentävät toisiaan. Metriikan käyttöä tulisi kuitenkin monipuolistaa nykyisestä, jotta se kuvastaisi paremmin tutkijan työn monimuotoisuutta, eikä se saa sivuuttaa tutkimustyön sisällöllistä arviointia, joka muodostaa kokonaisvaltaisen arvioinnin perustan.
Toisin sanoen, metriikka itsessään ei aiheuta ongelmia. Ongelmia aiheuttavat siitä tehdyt yksinkertaistavat johtopäätökset kuten, että viittausten määrä yksin kertoo tarvittavan tutkimuksen vaikuttavuudesta. Tällainen ajatusmalli voi johtaa metriikan vastuuttomaan käyttöön, kuten sen käyttäminen arvioinnin ensisijaisena mittarina.
Metriikkaa suositellaan käytettäväksi arvioinnin tukena, ei sen korvikkeena
Metriikkaa voidaan käyttää laadullisen arvioinnin tukena silloin kun sitä käytetään vastuullisesti. Kansainvälisen RRA-sopimuksen mukaan arvioinnin tulisi nojata laadullisiin ratkaisuihin, joissa keskeisessä roolissa on vertaisarviointi, jonka tukena voidaan tarvittaessa käyttää vastuullisesti määrällisiä indikaattoreita. DORA-julistuksen mukaan taas lehtiperusteista metriikkaa, kuten lehtien vaikuttavuuskertoimia ei tule käyttää yksittäisen tutkimusartikkelin laadun mittaamisen korvikkeena, kun arvioidaan tutkijan tieteellisiä ansioita tai pohditaan rekrytointi-, ylennys- ja rahoituspäätöksiä.[1]
Vastuullinen arviointi ja kannustimet -työryhmän puheenjohtaja Anna-Kaisa Hyrkkänen (TSV) korostaa eri analyysitapojen tilannekohtaisuutta: ”Julkaisumetriset analyysit soveltuvat paremmin laajoihin, suurten julkaisumäärien tarkasteluihin. Mitä alempi tarkastelutaso metriikan kohteena on, sitä suuremmat riskit liittyvät sen käyttöön. Yksittäisten tutkijoiden tuloksia tulisi tulkita erittäin varovasti, esimerkiksi rekrytointipäätöksiä tehtäessä tai arvioitaessa henkilökohtaista suoriutumista.”
Vastuullisten käytäntöjen leviäminen ehkäisee riskejä
Keväällä 2022 toteutettu AVOTT-riskianalyysi listaa julkaisumetriikan vastuuttoman käytön yhdeksi seitsemästä keskeisestä riskistä avoimen tieteen tavoitteiden toteutumiselle. Analyysin mukaan vaarana on, että metriikka ohjaa tutkijoita kalliisiin lehtiin sekä lisää riippuvuutta kalliista kustantajista. Lisäksi julkaisumäärien kasvua saatetaan painottaa laadun kustannuksella.
Arviointi vaikuttaa merkittävästi tutkijan työhön ohjaamalla tutkimuksen suuntaa esimerkiksi rahoituksen ja meritoitumisen kautta. Käyttäkäämme siis metriikkaa vastuullisesti laadukkaiden kotimaisten ohjeistusten mukaisesti.
Uusi matalan kynnyksen kysymyskanava avoimesta tieteestä on suunnattu tieteellisten seurojen jäsenille
Kysy avoimesta tieteestä on uusi artikkelisarja ja matalan kynnyksen kysymyskanava, joka ilmestyy säännöllisesti avoimen tieteen verkkosivuilla sekä uutiskirjeessä.
Sarja on suunnattu erityisesti tieteellisten seurojen jäseniä silmälläpitäen, mutta aiheita voi ehdottaa kuka tahansa avoimen tieteen ja tutkimuksen peruskysymyksiä pohtiva. Pyrimme vastaamaan kysymyksiin ja muihin aihe-ehdotuksiin artikkelien muodossa laajaa asiantuntijaverkostoamme hyödyntäen.
Aiheita juttusarjaan voi ehdottaa lähettämällä sähköpostia osoitteeseen avointiede@tsv.fi. 
Teksti: Jonni Karlsson
Tekstin sisäiset kuvat järjestyksessä: Ryoji Iwata Glenn Carstens-Peters Unsplash
[1] Muita metriikan väärinkäyttöä kritisoineita kansainvälisiä julkilausumia ovat esimerkiksi Leidenin manifesti, Metric Tide sekä Hong Kong Manifesto.
Sinua saattaisi kiinnostaa myös
