Avoimen tieteen ja tutkimuksen seurannan tavoite on tukea organisaatioiden avoimen tieteen ja tutkimuksen kehitystyötä, tukea ja todentaa julistuksessa ja linjauksissa sovittujen tavoitteiden toteutumista sekä saada kokonaiskuva suomalaisen tieteen ja tutkimuksen avoimuuden tilasta. Seurannassa käytetään mahdollisimman paljon jo olemassa olevaa vertailukelpoista tietoa, joka on koottu tutkimustietovarantoon. Tämän lisäksi seurannassa kerätään tietoa kyselyn avulla. Kyselyn rooli seurannan tietolähteenä vähenee Tutkimustietovarantoon kertyvän tiedon karttuessa. Aluksi kyselyn rooli on keskeinen.
Keskeiset dokumentit:
- Avoimen tieteen ja tutkimuksen seurantamalli
- Avoimen tieteen ja tutkimuksen seurannan indikaattorit
- Avoimen julkaisemisen kokonaiskustannusten arviointi, sisältää kyselyn kysymykset
Seurannan aikataulu
Seuranta toteutettiin ensimmäisen kerran vuonna 2022. Vuoden 2022 seuranta oli kevyt ja perustui pitkälti olemassa oleviin ja tunnettuihin indikaattoreihin sekä eurooppalaisen seurannan tarpeisiin. Vuonna 2024 toteutettava seuranta on merkittävästi laajempi. Avoimen tieteen ja tutkimuksen koordinaatio on kehittänyt siihen tulevia indikaattoreita yhdessä koko tutkimusyhteisön kanssa alkuvuonna 2023. Avoimen tieteen ja tutkimuksen kansallinen ohjausryhmä päätti vuoden 2024 uusista indikaattoreista ja muutoksista vuonna 2022 käytettyihin indikaattoreihin toukokuussa 2023.
Vuoden 2024 seurannan kysely oli avoinna 6.5.–14.6.2024.
Seurannan tulokset julkaistaan tiedejatutkimus.fi -sivustolla lokakuussa 2024, ja kyselytutkimusten tulokset tallennetaan avoimesti vuoden 2024 loppuun mennessä.
Indikaattorit ja pisteytys
Seurannan indikaattoreiden perusteella määritellään organisaatioille niiden avoimuuden profiilit sekä avoimen tieteen ja tutkimuksen taso. Vuonna 2022 käytettiin rajallisia indikaattoreita. Vuoden 2024 seurantaan indikaattoreita lisättiin kattamaan kaikki osa-alueet. Pisteytyksen periaatteet ovat läpinäkyviä ja kaikkien saatavilla.
Jokainen indikaattori on pisteytetty. Pisteet ovat joko ”peruspisteitä” tai ”lisäpisteitä”. Peruspisteet koskevat käytäntöjä, jotka ovat linjausten toteutumisen kannalta keskeisiä tehtäviä kaikille organisaatioille. Lisäpisteet koskevat käytäntöjä, jotka ovat vielä uusia, kehittyviä tai tuottavat lisäarvoa. Pisteytyksessä periaatteena on, että samantyyppisistä kysymyksistä saa samanlaisen pistemäärän kaikilla osa-alueille. Lisäksi enemmän työtä organisaatiolta edellyttävät kysymykset antavat enemmän pisteitä.
Pisteiden avulla määritellään organisaation avoimuuden aste kunkin osa-alueen kohdalla. Osa-alueen avoimuuden aste (1–5) määräytyy kullekin organisaatiolle sen mukaan, kuinka monta prosenttia he ovat saaneet toisaalta peruspisteiden, toisaalta yhteenlaskettujen kokonaispisteiden maksimimääristä. Prosentteihin perustuva malli mahdollistaa, että seurantaan voidaan lisätä tulevaisuudessa uusia indikaattoreita ja se skaalautuu avoimen tieteen ja tutkimuksen kehittymisen myötä.
Eri osa-alueiden avoimuuden asteista muodostuu organisaatioiden avoimuuden profiili. Profiilissa tehdään näkyväksi organisaation avoimuuden aste eri osa-alueilla (julkaisut, aineistot ja infrastruktuuri, oppiminen sekä toimintakulttuuri) ja tarpeen mukaan voidaan tutkia avoimuuden astetta myös toimintatapojen (ohjaavat dokumentit, palvelut, yhteistyö sekä tuotokset) näkökulmasta.
Profiilin perusteella määritellään myös organisaation avoimuuden kokonaisarvio. Kokonaisarviossa tasoja on lähtötason lisäksi viisi. Tasot on määritelty siten, että seuraavalle tasolle nousemiseen tarvitaan joko yhden askelman nousua kahdella osa-alueella tai kahden askelman nousua yhdellä osa-alueella (toisin sanoen osa-alueiden keskiarvo nousee puoli askelmaa). Lisäksi ylemmille kokonaisarvion tasoille nouseminen vaatii, että kaikkia profiilin osa-alueita pitää nostaa jonkin verran.
Seurantamallin laadinta
Avoimen tieteen ja tutkimuksen kansallinen ohjausryhmä asetti vuonna 2020 työryhmän kehittämään avoimen tieteen ja tutkimuksen seuraavan sukupolven seurantamallia Suomessa. Työryhmän lisäksi seurantamallin kehittämiseen ovat osallistuneet Avoimen tieteen ja tutkimuksen koordinaation asiantuntijajäsenet toukokuussa 2020 toteutetun yhteiskehittämisen kautta ja seurantamalli oli avoimella kansallisella kommentoinnilla 27.9.–1.11.2021. Seurantamallia kommentoi 54 organisaatiota.
