Miten metriikkaa käytetään tutkimusorganisaatioissa ja missä menevät metriikan rajat? Bibliometriikkapäivillä 8.4. puhuttiin tutkimuksen arvioinnista, arvioinnin kansallisesta tietopohjasta ja vastuullisesta metriikasta.
Tutkimuksen arvioinnin eri puolista keskustelivat paneelissa Raili Pönni (Aalto-yliopisto), Anssi Mälkki (Helsingin yliopisto), Laura Himanen (Tampereen yliopisto), Timo Taskinen (Jyväskylän yliopisto) ja Seliina Päällysaho (Seinäjoen ammattikorkeakoulu). Paneelin juonsi Jussi Alho (Suomen Akatemia).
Paneelikeskustelua edelsi Otto Aurasen (Suomen Akatemia) esitys viimeisimmästä Tieteen tila -raportista. Lisäksi Pönni, Mälkki ja Taskinen pääsivät paneelia ennen esittelemään tarkemmin tutkimuksen arvioinnin käytäntöjä omassa organisaatiossaan.
Tutkimuksen arviointia eri organisaatioissa
Erityisesti Aalto-yliopiston ja Helsingin yliopiston tavat käyttää metriikkaa poikkesivat toisistaan mielenkiintoisesti. Aalto-yliopistolla oli hyvin datavetoinen näkemys metriikan soveltamiseen. Esimerkiksi yliopiston rekrytoinneissa määritellään jo etukäteen, millainen bibliometrinen profiili sopisi avoinna olevaan tehtävään, johon sitten houkutellaan profiilin perusteella sopivia hakijoita. Valinnan vastuullisuus varmistetaan sillä, että valintakriteerit ovat läpinäkyviä ja kaikkien tiedossa. Dataa käytetään myös yliopiston ja sen yksiköiden toiminnan kehittämisessä mahdollisimman reaaliaikaisesti, polttoaineena laadullisille päätöksille.
Helsingin yliopiston meneillään olevassa tutkimuksen arvioinnissa taas lähtökohtana on ollut saman arviointiprosessin soveltaminen hyvin erilaisiin viitekehyksiin. Koska esimerkiksi bibliometrisessa analyysissa käytetyt aineistot eivät olleet kattavia humanistisilla aloilla, ei niillä aloilla bibliometriikkaa sovellettu kovin laajasti. Arviointikriteerit poikkesivatkin toisistaan paljon eri arviointikohteissa. Helsingin yliopiston tutkimuksen arvioinnin tehtävänä on antaa tietoa, mihin suuntaan yksikköä kannattaisi kehittää, eikä sen tarkoituksena ole vertailla eri yksikköjä - arviointiprosessissa ei siis ole häviäjiä.
Vaikka metriikan jalkautuminen kaikille tasoille oli edennyt hyvin eri tahtiin eri organisaatioissa, suurin osa panelisteista kertoi ainakin organisaatioidensa ylimmän johdon hyödyntävän metriikkaa. Poikkeuksellisesti Tampereen yliopistossa ei johdolle vielä oltu ehditty tehdä yhteistä tietojärjestelmää tunnuslukujen seuraamiseen. Himanen piti tätä lähinnä mahdollisuutena laatia aidosti vastuullinen arviointijärjestelmä.
Kansallista yhteistyötä
Panelisteja puhututti myös tuleva tutkimuksen kansallinen tietovaranto. Tutkimustietovarannon ohjausryhmässä toimiva Päällysaho piti merkittävänä, että tieto tutkimuksesta siirtyisi automaattisesti järjestelmästä toiseen. Taskinen painotti tutkimustietovarannon merkitystä tutkimuksen avoimuudelle. Himasta taas huoletti tietovarantoon kirjattavien tietojen yhteismitallisuus, jos jossain organisaatiossa kirjaamista tehdään kattavammin kuin toisessa.
Puhujat pohtivat myös organisaatiotason tutkimuksen arvioinnin suhdetta Tieteen tilan tyyppisin kansallisen tason arviointeihin. Panelistit olivat yhtä mieltä siitä, että kummallakin tasolla on oma tehtävänsä. Kansalliset arvioinnit antavat esimerkiksi osviittaa siitä, mihin verrokkeihin oman organisaation tilannetta kannattaisi vertailla. Omassa organisaatiossa tehty arviointi taas vastaa kysymyksiin, joihin kansallinen arviointi on liian karkea väline.
Panelisteilta tuli myös kehitysehdotuksia kansalliseen tutkimuksen arviointiin. Mälkki toivoi, että kansalliset arvioinnit olisivat kunnianhimoisempia - menneisyydessä laahaavien indikaattorien sijaan pitäisi keskittyä laadulliseen aineistoon, joka kertoisi jotain tutkimuksen tulevaisuudesta. Päällysaho taas ehdotti omaa JUFO-luokitusta ammattilehdille, jotka ovat tärkeitä etenkin ammattikorkeakouluille.
Panelistit toivoivat enemmän organisaatioiden välistä yhteistyötä arvioinnissa. Etenkin yliopistojen ja ammattikorkeakoulujen katsottiin voivan ottaa toisiltaan oppia - yliopistot ovat tottuneempia hyödyntämään bibliometriikkaa, kun taas ammattikorkeakouluilla on historiansa vuoksi enemmän kokemusta alueellisesta ja yhteiskunnallisesta vuorovaikutuksesta.
Metriikan rajat
Jos ennen bibliometriikka oli kirjastolaisten työsarkaa, nyt siitä on tullut hallinnon työkalu. Kaikille käyttäjille ei ole selkeää, miten ja missä metriikkaa voidaan soveltaa. Panelistit toivoivatkin, että metriikan koulutukseen laitettaisiin enemmän panoksia, jotta lukujen pohjalta ei tehdä hätiköityjä päätöksiä.
Himanen koki, että liiallinen arviointi on vienyt tutkimusyhteisön suoranaiseen metriikkaähkyyn. Nykyisessä mallissa tutkijaa arvioidaan lähes jokaisessa uransa käännekohdassa, aina väitöskirjasta vakinaistamiseen asti ja sen jälkeenkin. Jopa oman organisaation tai yksikön arviointi saattaa tuntua yksittäisestä tutkijasta painostavalta, koska tutkimusyhteisön työ muodostuu aina yksilöiden työpanoksista. Himanen heitti ilmaan ehdotuksen, että alituisen mittaamisen sijaan tutkijoille annettaisiin työrauha tieteen tekemiseen.
Panelistit pohtivat myös, onko tilanteita, joissa metriikka ei auta ja joudutaan turvautumaan pelkkään omaan tuntumaan. Selkeänä ehdokkaana esiin tulivat vasta nousevat alat, jotka usein ovat monitieteisiä ja joiden merkitystä arviointimittarit eivät vielä tunnista. Huolta nousikin, miten tutkijat uskaltautuvat uusille aloille, jos niiden arvoa omalle uralle ei voi vielä ennakoida.
Teksti: Ilmari Jauhiainen
Sinua saattaisi kiinnostaa myös
