Arvioinnin uudet suuntaviivat

Arviointi kertoo siitä mikä meille on tärkeää. Tiedämme myös, että "sitä saa, mitä mittaa". Siksi arviointi on äärimmäisen tehokas tapa ohjata tutkimusyhteisön kehitystä, toimintaa ja tutkijan urapolkuja. Koska arviointi on näin voimakas työkalu, tutkimusyhteisön on tärkeää luoda itselleen arviointijärjestelmiä, jotka luovat toivomamme kaltaista tutkimusta, tiedettä ja tutkimusyhteisöä.

Suomalainen tutkimusyhteisö on ottanut vahvasti kantaa arvioinnin kehittämiseen. 18.3. julkaistiin neljä keskeistä ja toisiaan täydentävää ohjetta ja suositusta suomalaisen tutkimusyhteisön uusiksi arviointikäytännöiksi. Nämä ovat syntyneet laaja-alaisen yhteistyön tuloksena. Tutkijoiden edustajat ja etujärjestöt, organisaatiot, rahoittajat ja palveluntuottajat ovat yhdessä pohtineet sitä, miten tutkimusta ja tutkijoita tulisi vastuullisesti arvioida. Samalla on pohdittu, miltä näyttää elinvoimainen tutkimusyhteisö ja kiinnostavat tutkijan urapolut. (linkit suosituksiin ja ohjeisiin)

Vastuullisen arvioinnin hyvät käytännöt 

Vastuullisen tutkijanarvioinnin kansallinen suositus kattaa koko arvioinnin työkaaren arvioinnin suunnittelusta tutkijan kokemukseen arvioitavana olemisesta. Suositus perustuu viidelle keskeiselle arvioinnin periaatteelle: läpinäkyvyys, integriteetti, tasapuolisuus, pätevyys sekä monimuotoisuus. Henriikka Mustajoki korosti, ettei suositus määrittele miten erilaisia asioita tulisi arvioinnissa painottaa, vaan ohjaa arvioitsijoita pohtimaan erilaisia valintoja. Suositus myös kannustaa muokkaamaan arvioinnissa käytettyjä kriteereitä ja materiaaleja sekä ohjeistamaan arvioitsijoita tutkijan työtä laaja-alaiseseen huomioimiseen.

Seminaarissa tutkijan puheenvuoron käyttänyt Reetta Muhonen (Turun Yliopisto) kommentoi suositusta tutkijan näkökulmasta. Reetta Muhonen korosti arvioinnin arvokkuutta ja kysyi tärkeän kysymyksen:

“Mistä löydetään rohkeutta tutkimuksen laadun korostamiseen määrän sijaan?”

TENK:n uusi CV-malli

Tutkimuseettinen neuvottelukunta (TENK) on uudistanut CV-mallin. Uusi CV-malli on tehty rintarinnan vastuullisen tutkijanarvioinnin suosituksen kanssa. Suositus ja CV-malli tukevat toisiaan. Uuden CV-mallin esitteli TENK:n puheenjohtaja Riitta Keiski (Oulun Yliopisto). Keiski kannusti kiinnittämään huomiota uudessa mallissa esimerkiksi tutkimustuotosten avoimen saatavuuden rooliin sekä tutkijan työn monipuoliseen esittelyyn. Riitta Keiski muistutti esityksensä lopussa:

“Meidän on nyt tärkeä palata arvoihin ja muistaa, että yhdessä onnistumisen merkitys on tärkeää.”

Vastuullisen metriikan suositus

Vastuullinen metriikan käyttö on tärkeää, sillä perusteeton metriikkakeskeisyys on yksi nykyisen arviointijärjestelmän puutteista. Vastuullisen metriikan suosituksen esitteli Laura Himanen (Tampereen Yliopisto). Suosituksessa määritellään metriikan käytölle selkeitä rajoja ja kuvaillaan hyviä käyttötapoja. Laura Himanen korosti, että metriikan suhteen työ jatkuu nyt Finn-ARMAn alaisuudessa toimivassa työryhmässä.

JUFOn käyttöohje

Janne Pölönen esitteli JUFOn päivitetyn käyttöohjeen. Pölösen esityksessä korostui, että JUFOn perusajatus on suurien bibliografisten aineistojen arvioinniti eikä sitä suositella yksittäisten tutkijoiden tai artikkeleiden arvioinnin ohjenuoraksi. Suomen Akatemia on suositusten ja ohjeiden mukaisesti muokkaamassa omia arviointiohjeitaan. Akatemian puolesta arvioinnin ohjeita ja suosituksia kommentoinut Aki Salo korostikin, että Akatemian hauissa JUFO-luokitusta ei saa liittää osaksi CV:tä eikä sitä käytetä osana muutakaan arviointia. 

Miten tästä eteenpäin?

Seminaarissa Mari Riipinen esitteli Turun Yliopiston arvioinnin kehitystyötä. Arvioinnin tärkeys näkyy strategiasta lähtien koko organisaation toiminnassa. Mari Riipinen korostaakin:

"Arvioinnin suositukset muuttuvat eläväksi tiedekuntien työssä"

Mari Riipinen kannusti myös pohtimaan yhdessä, miten laatua ja vaikuttavuutta jatkossa mitataan ja tehdään näkyväksi.

Arviointia kehitetään nyt koko tutkimusyhteisön voimin ja olemassaolevien suositusten ja ohjeiden pohjalta. TSV edistää yhteisiä laadun ja vaikuttavuuden mittareita, aineistoista meritoitumista, monikielisyyden roolia arvioinnissa, portfoliomallin luomista sekä yhteistä kansallista kypsyystasoarviointia. Työtä tehdään myös Finn-ARMAN piirissä sekä organisaatioissa.

Yhdessä voimme parantaa arviointikäytäntöjä! 

Seminaarin ohjelma ja esitykset: https://avointiede.fi/fi/tapahtumat/vastuullisen-arvioinnin-seminaari

Tilaisuudessa julkaistut suositukset ja ohjeet

• Tutkijanarvioinnin hyvät käytännöt. Vastuullisen tutkijan arvioinnin kansallinen suositus
• Vastuullisen metriikan suositus
• Julkaisufoorumin käyttöohje
• Tutkijan ansioluettelomalli

Vastuullisen arvioinnin seminaarin järjesti Avoimen tieteen koordinaatio, Julkaisufoorumi (JUFO) ja Tutkimuseettinen neuvottelukunta (TENK). Seminaari pidettiin etänä. 

Teksti: Henriikka Mustajoki

Kuva: Krystal Kwok - Unsplash