Vastuullinen tutkijanarviointi

Sisältö

• Kansallinen suositus
• Toimeenpanosuunnitelma
• Kansainvälinen yhteistyö
• Ohjausryhmä
• CoARA kansallinen osasto

Vastuullinen tutkijanarviointi

Vastuullisen tutkijanarvioinnin kansallinen suositus antaa ohjeita siihen, kuinka tutkijanarviointi suoritetaan alusta loppuun asti vastuullisesti. Tutkijaa arvioidaan niin rekrytointitilanteissa, urapolun eri vaiheissa kuin rahoitusta jaettaessa. Yksittäistä tutkijaa voidaan arvioida osana suurempaa kokonaisuutta silloin, kun hän toimii osana tutkimusryhmää tai hänen tutkimusorganisaatiossaan suoritetaan laaja tutkimuksen arviointi. Tutkijaa arvioidaan usein tilanteissa, joihin liittyy vertailu ja kilpailu.

Suomalainen tutkimusyhteisö on ottanut vahvasti kantaa arvioinnin kehittämiseen. Keväällä 2020 julkaistiin Tutkijanarvioinnin hyvät käytännöt -suositus, jonka on laatinut TSV:n vuonna 2018 asettama laaja-pohjainen työryhmä. Tutkijoiden edustajat ja etujärjestöt, organisaatiot, rahoittajat ja palveluntuottajat ovat yhdessä pohtineet sitä, miten tutkimusta ja tutkijoita tulisi vastuullisesti arvioida. Samalla on pohdittu, miltä näyttää elinvoimainen tutkimusyhteisö ja kiinnostavat tutkijan urapolut.

Vastuullisen arvioinnin edistäminen on TSV:n ja sen yhteydessä toimivien vastuullisen tieteen toimijoiden yhteinen tavoite. Vastuullista arviointia ovat jo vuodesta 2012 edistäneet sekä TENK:n Hyvä tieteellinen käytäntö -ohje ja Tutkijan ansioluettelomalli, että Julkaisufoorumi-luokituksen käyttöohje.

Vuonna 2019 käynnistetyn Monikielisen tiedeviestinnän Helsinki-aloitteen tavoite on kannustaa tutkimustiedon välittämistä tiedeyhteisöä laajemmalle yleisölle, tukea monikielisen julkaisutoiminnan mahdollistavia  kansallisia  julkaisukanavia  ja  edistää  monikielisyyttä  tutkimuksen  arviointi- ja rahoitusjärjestelmissä. 

Lisätietoja: www.vastuullinentiede.fi/fi/asiasana/arviointi

Kansallinen suositus

• Tutkijanarvioinnin hyvät käytännöt – tutkijanarvioinnin kansallinen suositus.

Tutkijanarvioinnin yleiset periaatteet ovat läpinäkyvyys, integriteetti, tasapuolisuus, pätevyys ja monimuotoisuus. Niitä sovelletaan suosituksessa määriteltyihin hyviin käytäntöihin, jotka koskevat seuraavia arviointiprosessin osa-alueita:

• Arviointiprosessin rakentaminen
• Tutkimuksen arviointi
• Tutkijan tehtävien monimuotoisuus
• Tutkija arvioinnin osallisena

Tutkijanarvioinnin ensimmäinen suositus koskee arviointiprosessin rakentamisen hyviä käytäntöjä. On huolehdittava, että arvioinnin päämäärät ja kriteerit ovat avoimesti osapuolten saatavilla. Arvioinnissa käytettävät aineistot sekä kerätään että niitä käytetään tarkoituksenmukaisesti ja kattavasti. Arvioijien on oltava esteettömiä tehtäväänsä ja arvioijajoukon on oltava monipuolinen. Niin kriteerien, aineistojen kuin arvioijien valinnassa tulee varmistaa yhdenvertaisuus.

Toinen osa hyviä käytäntöjä koskevista suosituksista pureutuu tutkimuksen arviointiin, jossa huomioidaan tieteellinen laatu, avoin saatavuus ja eettisyys. Tutkimuksen tieteellistä laatua voidaan arvioida perehtymällä sekä sen sisältöön että käyttämällä arvioinnin apuna tutkimusmetriikkaa. Julkaisumetriikan vastuulliseen käyttöön on suosituksessa vielä oma yhdeksänkohtainen suosituksensa.  

Kolmas osa suosituksista käsittelee tutkijan tehtävien monimuotoisuutta. Opettajana ja ohjaajana toimiminen nähdään oleellisena osana tutkijan työtä ja sitä on painotettava arvioinnissa tarkoituksenmukaisesti. Arvioinnissa huomioidaan yhteiskunnallinen vuorovaikutus ja vaikuttavuus sekä tutkijan toiminta tutkimus- ja muissa ympäristöissä. Koska ne toteutuvat eri tieteen aloilla eri tavoin eivätkä niiden mittarit ole samalla tavalla vakiintuneita kuin tieteellisen laadun arvioinnissa, on niiden kriteerit määriteltävä arvioinnissa. Tutkimusalojen erityispiirteet on muutenkin otettava arvioinnissa huomioon.

Neljäs osa suosituksista  ottaa tutkijan osaksi arviointiaan. Tutkijan on annettava myös itse arvioida tutkimustyönsä tavoitteita, merkittävyyttä ja vaikuttavuutta. Arviointi olisi hyvä suunnitella niin, että arvioitava hyötyy siitä. Arvioinnista saatu palaute auttaa arvioitavaa.

Toimeenpanosuunnitelma

Suosituksessa on määritelty tehtäviä suosituksen toimeenpanemiseksi. Näiden toteutuksesta vastaan Tutkijan vastuullisen arvioinnin ohjausryhmä:

1. Kehitetään organisaatioille arvioinnin kypsyystasoselvitys. 
2. Jokainen suositukseen sitoutunut tutkimusorganisaatio ja rahoittaja luo omat ohjeet vastuullisen tutkijanarvioinnin suositusten toimeenpanemiseksi ja seuraa niiden toteutumista. 
3. Kansallisesti kehitetään ja otetaan käyttöön TENKin tutkijan ansioluettelomallin kanssa yhteensopiva tutkijan portfoliomalli (esim. Acumen) sekä portfolioportaali.
4. Kansallisesti kehitetään riittävän monipuolinen tutkimuksen tietopohja arvioinnin tueksi.
5. Kansallisella ja organisaatioiden tasolla huolehditaan riittävästä ohjeistuksesta ja ohjauksesta vastuulliseen arviointiin.
6. Asiantuntija-arvioinnin arvostus ja tarvittavat resurssit taataan kaikessa arviointityössä. 
7. Suositusta vastuulliseen tutkijanarviointiin päivitetään ja sen toteutumista seurataan

Suomen Akatemia ja Suomen yliopistot UNIFI ovat sitoutuneet suositukseen.

Organisaatioiden toiminta vastuullisen arvioinnin edistämiseksi huomioidaan osana Avoimen tieteen ja tutkimuksen seurantaa. Vastuulliseen arviointiin liittyviä tavoitteita ja toimenpiteitä määritellään Toimintakulttuurin avoimuuden linjauksessa sekä Avoimen toimintakulttuurin palveluiden itsearviointityökalussa. 

Tiedejatutkimus.fi-palvelun Tutkijan tiedot-kokonaisuuden kehittäminen tukee myös vastuullista tutkijanarviointia. 

Kansainvälinen yhteistyö

Suomalaisen tiedeyhteisön laajaan yhteistyöhön perustuva, TSV:n johdolla vuonna 2020 valmistunut Tutkijan arvioinnin hyvät käytännöt-suositus on ensimmäisiä kansallisia vastuullisen arvioinnin ohjeita maailmassa. Yhteistyö arvioinnin kehittämiseksi Suomessa jatkuu nyt tiiviissä yhteistyössä kansainvälisten kumppaneiden kanssa. TSV on allekirjoittanut arvioinnin uudistamisen kansainvälisen sopimuksen ja on allekirjoittaneiden organisaatioiden yhteenliittymän (CoARA) jäsen.

• CoARA-yhteenliittymä: Coalition for Advancing Research Assessment
• Kansainvälinen sopimus: Agreement on Reforming Resaerch Assessment
• Alankomaiden suositus: Room for Everyone’s Talent
• Norjan suositus: NOR-CAM – A toolbox for recognition and rewards in academic careers
• EUA, SPARC & DORA: Reimagining academic assessment: stories of innovation and change

Ohjausryhmä

Ohjausryhmän tehtävä on arvioida kansallisen suosituksen päivitystarpeet, sekä seurata ja edistää toimenpidesuunnitelman toteutumista. Ohjausryhmä nimetty vuosille 2021-2024, ja se kokoontuu vähintään kerran vuodessa.

Ohjausryhmän kokoonpano:

Ohjausryhmän kokousmuistio: Jatkuva muistio (Google Docs)

CoARA kansallinen osasto

Coalition for Advancing Research Assessment (CoARA) esittää perustettavaksi kansallisia osastoja, joiden tarkoituksena on tukea CoARA:n jäseniä tutkimuksen arvioinnin uudistamista koskevan sopimuksen sitoumusten täytäntöönpanossa kansallisella tasolla, huomioiden kyseisen maan ja eri organisaatioiden erityispiirteet.

Tieteellisten seurain valtuuskunta itsenäisenä julkisena organisaationa, joka koordinoi avointa tiedettä ja vastuullisen tutkijan arviointia Suomessa, ehdottaa valtakunnallista osastoa suomalaisen tiedeyhteisön puolesta ja toimii kansallisen osaston koordinaattorina.

TSV on ilmaissut CoARAlle kiinnostuksen perustaa Suomeen kansallinen osasto, jättämällä alustavan hakemuksen (Expression of Interest). Lopullinen hakemus jätetään syksyllä 2023 yhdessä kansallisen osaston toimintaan lähtevien organisaatioiden kanssa.

CoARA kansallisen osaston yhteystietorekisterin tietosuojaseloste.

Lisätietoja:

Janne Pölönen, pääsihteeri – Julkaisufoorumi (janne.polonen@tsv.fi)
Hanna Lahdenperä, asiantuntija – Avoin tiede ja tutkimus (hanna.lahdenpera@tsv.fi)