SCOPE-malli tukee AVOTT-seurannan jatkuvaa kehittämistä

SCOPE-malli on laajasti hyödynnetty kansainvälinen vastuullisen arvioinnin työkalu. Mallin on kehittänyt INORMSin Research Evaluation Group. Vastuullisuus ja jatkuva kehittäminen ovat avoimen tieteen ja tutkimuksen seurannan keskeisiä tavoitteita ja tässä jutussa pohdimme miten AVOTT-seuranta näyttäytyy SCOPE mallin näkökulmasta.  

AVOTT-seuranta (monitoring) ei ole tutkimuksen tai tutkijan arviointia (research evaluation, research assessment) vaan avoimen tieteen käytäntöjen toteutumisen seuraamista. Seuraaminen ja arviointi ovat kaksi eri asiaa. Seurannan vaikutukset voivat kuitenkin olla arvioinnin kaltaisia, etenkin jos seurannan tuloksia käytetään vertailuun, strategiseen päätöksentekoon tai ohjaukseen. Samanlainen tilanne on syntynyt esimerkiksi jufo-luokituksen käytöstä tutkijan arviointiin päinvastaisesta ohjeistuksesta huolimatta. Seurannan kehityksessä tulee huomioida nämä alkuperäisestä tarkoituksesta poikkeavat käytön muodot, jotta niiden vaikutus olisi mahdollisimman vähäinen.

SCOPE-malli on tarkoitettu erityisesti tutkimuksen arvioinnin kehittämiseen. Vaikka seurannassa ei ole kyseessä arviointi, SCOPE-mallin viittä askelta ja mallin periaatteita voidaan hyödyntää avoimen tieteen seurannan ja sen indikaattoreiden kehittämisessä. Tässä jutussa pohdimme seurantaa erityisesti SCOPE-mallin viiden askeleen näkökulmasta.

1. Aloita siitä, mitä arvostat (S = Start with what you value)

Mistä on kyse?
Hyvän arvioinnin kriteerit perustuvat yhteisön arvoihin ja tavoitteisiin.

Miten AVOTT-seuranta toteuttaa tämän?
AVOTT-seuranta perustuu kansallisesti yhteisesti laadittuihin avoimen tieteen ja tutkimuksen tavoitteisiin, jotka on kirjattu Avoimen tieteen ja tutkimuksen julistukseen ja linjauksiin. Seurannan indikaattorit valmistellaan yhteistyössä tutkimusyhteisön kanssa: valmistelussa on mukana asiantuntijaryhmiä, lausuntokierroksia ja ohjausryhmän työskentelyä.

Entä kehitettävää?
Arvojen painotusten avaaminen voisi tehdä arvopohjan entistä näkyvämmäksi. Jatkossa entistä laajemmin olisi hyvä keskustella siitä, mitä seurannalta todella odotetaan ja mihin tarkoituksiin sitä voidaan käyttää. Olisi hyvä arvioida, tukevatko indikaattorit aidosti niitä arvoja, joilla halutaan ohjata toimintaa. On tärkeää kysyä kohdistuuko seuranta liikaa muotoon (esim. onko dokumentti olemassa) sisällön sijaan (mitä sillä saavutetaan). Tätä keskustelua tulisi käydä kaikilla koordinaation osa-alueilla ja kutsua mukaan mahdollisimman laajasti tutkimusyhteisön jäseniä.

2. Konteksti on tärkeä (C = Context)

Mistä on kyse?
Arvioinnin tulee huomioida toiminnan ympäristö, resurssit ja erityispiirteet.

Miten AVOTT-seuranta toteuttaa tämän?
Seuranta on jaettu sektoreittain: yliopistot, ammattikorkeakoulut, tutkimuslaitokset ja muut toimijat arvioidaan suhteessa omaan toimintaympäristöönsä. Seurannan kysymykset eivät ole kaikille samat, ja vertaileminen on tiedejatutkimus.fi sivustolla mahdollista vain oman verrokkiryhmän suhteen. 

Seurantaa toteutetaan kansallisten linjausten toteutumisen näkökulmasta. Yhteisesti laadittu linjauskokonaisuus huomioi tutkimusympäristön ja siinä toimivien organisaatioiden erityispiirteet. Seurannassa on mukana kysymyksiä, joilla Suomi vastaa myös kansainvälisiin avoimen tieteen seurantakysymyksiin, mutta joita ei huomioida kansallisen seurannan tasomäärittelyssä.. 

Entä kehitettävää?
Suomen avoimen tieteen seurantaa tehdään vahvasti suhteessa kansainväliseen kontekstiin. Seurannan kehittämisessä osallistutaan aktiivisesti kansainväliseen avoimen tieteen seurannan kehittämistyöhön (esim. Open Science Monitoring Initiative (OSMI) - hanke), mikä tukee laajempaa kontekstuaalisuutta. 

Vaikka AVOTT-seuranta antaa organisaatiolle mahdollisuuden verrata omia tuloksia samankaltaisten toimijoiden tuloksiin ja seurannan kysymykset on muotoiltu organisaatiotyyppien mukaan, pienemmille toimijoille voisi tarjota enemmän tukea 

Seuranta kysyy organisaatioilta linjausten toteuttamisen tilannetta usein nopeasti linjausten valmistumisen jälkeen, jolloin organisaatioilla on ollut vain niukasti aikaa linjausten huolelliseen implementointiin. Seurannan tavoite on kannustaa organisaatioita tarttumaan kehitystyöhön tuomalla uusia linjauksia osaksi seurannan indikaattoreita, ilman oletusta, että kehitystyö olisi saatu päätökseen. Aikataulujen tuomaa haastetta voidaan tasapainottaa riittävän usein tehdyllä seurannalla, jossa kehitys tulee näkyväksi askel askeleelta, sekä pidemmillä seurannan aikajänteillä.

3. Miten seurannan indikaattorit ja menetelmät soveltuvat avoimuuden seurantaan (O = Options for evaluating)

Mistä on kyse?
Arvioinnin menetelmät ja materiaalit valitaan siten, että ne ovat aiemmin sovittujen arvojen mukaisia ja huomioivat arvioinnin kontekstin.

Miten AVOTT-seuranta toteuttaa tämän?
AVOTT-seurannan indikaattorit laatii tutkimusyhteisö itse. AVOTT-koordinaatiossa indikaattorityöhön osallistuu asiantuntijayhteisö ja ohjausryhmä ja työtä ohjaa yhteisesti laadittu avoimen tieteen julistus ja sitä tukevat linjaukset. Kaikki indikaattorit käyvät läpi avoimen keskustelun ja ovat kaikkien tiedossa koko prosessin ajan. 

Entä kehitettävää?
Seurannan taustalla on avoimen tieteen ja tutkimuksen julistus ja linjaukset ja seurannan tavoite on tarkastella niiden toteutumista. Laajasta linjauskokonaisuudesta nousevien indikaattoreiden laadinta ja hyväksyminen on kuitenkin ollut haastavaa. Yhteisössä on ajoittain hyvinkin erilaisia näkemyksiä indikaattoreiden tavoitetasosta tai siitä, mitä aineistoa seurannassa tulisi hyödyntää. Tärkein keskustelu onkin pohtia, kuvaavatko valitut indikaattorit julistuksen ja linjauksen kannalta sitä, mitä niiden pitäisi kuvata, ja ovatko indikaattorit soveltuvia kohteilleen ja tarjoavat riittävän kontekstiherkän työkalun avoimuuden edistymisen seurantaan.

AVOTT-seurannan kehityksen aikataulu on tiukka, mikä haastaa osallistumista ja yhteisön keskustelua seurannan tavoitteista ja indikaattoreista. Kehitystyössä tulisi jatkossa entistä selkeämmin kuulla seurantaan osallistuvia asiantuntijoita, rakentaa entistä ennakoitavampi polku seurannan indikaattoreiden laadintaan ja lisätä indikaattoreiden laadinta erillisenä vaiheena seurannan toteutukseen. 

Vaikka suurin osa pisteytyksestä perustuu laadullisiin indikaattoreihin, niiden keruu tapahtuu pääosin kyllä/ei-vastauksilla, jotka eivät tarjoa selkeää kuvaa monimuotoisesta todellisuudesta. Nämä indikaattorit loivat tietopohjaa seurannan alkuvaiheessa, jossa kartoitettiin lähtötasoa. Nyt kun avoimen tieteen toiminta on kehittynyt, kaivataan kyllä/ei kysymysten rinnalle indikaattoreita, jotka kertovat, miten avoimen tieteen käytännöt todella toteutuvat. Tulevaisuudessa voisi harkita muiden laadullisten vaihtoehtojen, kuten lyhyiden kertomusten tai uudella tavalla muotoiltujen tapauskertomusten, käyttöä tarkentamaan tulkintaa. Laadullisten indikaattoreiden käyttöä tuleekin siis jatkossa tarkastella yhteisöllisesti ja pohtia miten seuranta pystyy tukemaan organisaatioiden avoimuuden itsearviointia. 

4. Suhde tavoitteisiin ja hyötyihin (P = Probe deeply)

Mistä on kyse?
Voivatko arviointi tai siinä käytetyt mittarit tai menetelmät aiheuttaa haittaa tai kohdella epäoikeudenmukaisesti joitakin ryhmiä? Onko arvioinnin vaiva suhteessa siitä saatavaan hyötyyn?

Miten AVOTT-seuranta toteuttaa tämän?

AVOTT-seurannassa on organisaatioita eriytetty sektorin ja joissain kysymyksissä organisaation koon mukaan. Seuranta on kuitenkin laajasti kaikille sama. Tässä on haettu tasapainoa organisaation erityispiirteiden huomioimisen sekä vertailtavien tietojen välillä. 

AVOTT-seurannassa yhdellä kyselyllä kerätään tiedot kansalliseen seurantaan sekä kansainvälisiin tarpeisiin (EOSC, UNESCO jne.). Näin vältetään kansalliset erilliskyselyt. Yhteisesti koottu seurantatieto on laajasti organisaatioiden käytettävissä omaan kehitystyöhön.  

Entä kehitettävää?
Mallissa olisi tärkeää käydä syvempää keskustelua mahdollisista ei-toivotuista seurauksista, kuten seurantaan mukautumisesta strategisen kehittämisen sijaan. Yhteisesti tulisi tarkastella, missä määrin seuranta ohjaa organisaatioita ’pelaamaan järjestelmää’ (esim. pisteitä voi saada myös tulevista suunnitelmista), ja miten tällaista ilmiötä voitaisiin ehkäistä.

Myös vastaustyön resursointi vaihtelee. Jatkossa tulee kiinnittää erityistä huomiota vastaustyön sujuvoittamiseen. Näihin voidaan löytää hyviä teknisiä ratkaisuja, esimerkiksi antamalla mahdollisuuden valita ‘ei muutoksia edelliseen seurantaan’. 

5. Arvioidaan arviointia (E = Evaluate your evaluation)

Mistä on kyse?
Arviointia tulee tarkastella ja arvioida säännöllisesti ja monipuolisesti.

Miten AVOTT-seuranta toteuttaa tämän?
Seurannan jokaisella toteutuskierroksella kaikki indikaattorit arvioidaan uudelleen. Yhteisöllisesti indikaattoreita sekä lisätään että poistetaan. Asiantuntijaryhmät ja ohjausryhmä tarkastelee seurannan kehitystä säännöllisesti ja sen kehittämiseen osallistuu jäseniä koko tutkimusyhteisöstä. 

Entä kehitettävää?
AVOTT-seurannan yksi haaste on ‘liian’ hyvät tulokset, joista voi saada mielikuvan, että avoimen tieteen asiat on jo saavutettu, vaikka todellisuudessa tehtävää riittää vielä pitkäksi aikaa. Indikaattoreiden suunnittelu on vaikeaa – liian vaativat ovat kohtuuttomia ja liian helpot epämotivoivia. Yhteisöllä on haasteellinen tehtävä löytää tasapaino indikaattoreihin, joita sovelletaan laajaan ja moninaiseen organisaatiojoukkoon. Seuraaviin seurantakierroksiin tarvitaankin uudenlaisia avauksia ja indikaattoreita, joilla pääsemme tarkastelemaan avoimuuden edistymistä ja kannustamme sekä organisaatioita että koko yhteisöä kriittiseen itsearviointiin. Lisäksi tulee tarkastella vaihtoehtoisia tapoja esittää seurannan tulokset Tiedejatutkimus.fi:ssä.

Seurantaa tulisi kehittää niin, että sen tuloksia olisi entistä houkuttelevampaa yhdistää organisaatioiden strategisiin prosesseihin. Yksi mahdollinen lisä on vaikuttavien esimerkkien esiin nostaminen sekä käyttäjien omien kokemusten jakaminen osana AVOTT-seurantaa. Samaan aikaan on myös tarpeen kriittisesti tarkastella, onko juuri seuranta toimivin kanava jakaa kehittämisestä saatuja kokemuksia vai onko niitä järkevämpi jakaa jollain muulla tavoin? 

Jatkuvaa kehittämistä hyvän arvioinnin hengessä

AVOTT-seuranta on yhteisön arviointia yhteisölle. Se on kehittyvä malli, ei valmis muotti. SCOPE-malli auttaa pitämään suunnan kunnianhimoisena ja arvioinnin läpinäkyvänä. 

Vaikka AVOTT-seurantaa on kehitetty yhteisöllisesti tavoitellen mahdollisimman hyvin myös SCOPE-mallissa esitettyjä hyvän arvioinnin kriteerejä, se ei ole mitenkään täydellinen eli keskustelu sen kehittämisestä jatkuu. Jotta seuranta palvelisi mahdollisimman hyvin sekä kansallista kehittämistä että yksittäisten organisaatioiden arkea, tarvitaan jatkossakin tarkastelua siitä, mitä mitataan ja millaisia seurauksia mittaamisella on.

Mikä tärkeintä, avoimen tieteen seuranta on mahdollisuus yhteiseen keskusteluun siitä, mitä pidämme tärkeänä, miten mittaamme edistymistä – ja miten varmistamme, että avoimuus rakentuu kestävälle ja oikeudenmukaiselle pohjalle.

Teksti: AVOTT sihteeristö

Kuva: Lucas George Wendt, Unsplash

Kiitokset:

Tässä jutussa on hyödynnetty artikkelia: Laura Himanen, Susanna Nykyri, Towards a sustainable and responsible model for monitoring open science and research—analysis of the Finnish model for monitoring open science and research, Research Evaluation, 2024;, rvae008, https://doi.org/10.1093/reseval/rvae008