Innføring av en siteringsindikator i finansieringssystemet

Høringsuttalelse – rapport om mulig utvidelse av publiseringsindikatoren med en siteringsindikator

Vi viser til brev fra Kunnskapsdepartementet (KD) av 22. november 2016 hvor rapporten «Vekt på forskningskvalitet. En mulig utvidelse av publiseringsindikatoren med en siteringsindikator» ble sendt på høring. Forskerforbundet oversender med dette sin høringsuttalelse til rapporten.

Forskerforbundet har tidligere, i sin høringsuttalelse til rapport om finansiering av universiteter og høyskoler (levert KD 09.02.15) uttrykt skepsis til å innføre en ny komponent i finansieringssystemet i form av siteringsindikator:

Forskerforbundet er uenig med utvalget i deres anbefaling om at det bør utredes en siteringsindikator. Utvalget viser selv til at en siteringsindikator har åpenbare svakheter ved at siteringer blant annet ikke dekker HUMSAM-fagene på en god måte, at den vil være lite relevant for mindre institusjoner, at det vil være er stor tidsforsinkelse mellom publiseringstidspunktet og siteringene og at den vil være vanskelig å operasjonalisere. Forskerforbundet mener det vil være svært krevende å bygge et system som kan ivareta sitering på en god måte. Det vil også bli vanskelig og ressurskrevende å kvalitetssikre data.

Forskerforbundet står fast ved denne vurderingen, og går derfor mot innføring av en utvidelse av publiseringsindikatoren med en siteringsindikator. Vår konklusjon er blant annet fundert i oppfatningen om at dagens finansieringssystem i hovedsak fungerer godt. Innføring av en siteringsindikator vil være en ytterlig kompliserende faktor, det kan stilles spørsmål ved kost-nytteverdien av indikatoren, og det er knyttet usikkerhet til om den vil ha den ønskede effekt i å veie opp for skjevheter i publiseringsindikatoren og uhensiktsmessige konsekvenser av denne. Forskerforbundet tror ikke at et enda mer finjustert måleinstrument er den rette medisinen for å heve forskningskvaliteten.

Det hører med i betraktningen at publiseringsindikatoren allerede er endret fra 2017, i og med innføring av en ny beregningsmetode for publiseringspoeng, jf. Prop. 1 S (2016-2017), kap. 13. Det virker forhastet å skulle innføre en ny indikator før vi vet mer om konsekvensene av disse justeringene.

I det følgende vil vi gjennomgå noen aspekter ved rapporten og siteringsindikatoren, samt diskutere noen relevante prinsipielle avveininger ved bruk av siteringer og andre kvantifiserbare måltall, for avslutningsvis å konkludere med henvisning til KDs høringsspørsmål.

Om rapporten

Rapporten fra NIFU er et grundig arbeid. Den diskuterer styrker og svakheter ved siteringsindikatoren, foretar nødvendige avveininger og avgrensinger og tar hensyn til at siteringspraksis er noe som varierer kraftig mellom fagdisipliner. De tre alternativene som er presentert gir mulighet for å avveie noen fordeler og ulemper. Det første (a) er basert på andel av de ti mest siterte artiklene på verdensnivå, det andre (b) tar utgangspunkt i gjennomsnittlig siteringshyppighet sammenlignet med verdensgjennomsnittet, og det tredje (c) er en kombinasjon av a og b og bygger på gjennomsnittet av de to indikatorene. Simuleringene av hvordan de ulike variantene vil slå ut for ulike institusjoner er i og for seg instruktive, men også kompliserte og til dels ugjennomsiktige.

Generelt er forslaget til siteringsindikator svært kompleks. Utover bibliometri-miljøer vil det være vanskelig å forstå eller etterprøve indikatoren uten en særlig ekstrainnsats. Rapporten sikter til at indikatoren skal «stimulere forskernes arbeid med forskningskvalitet i den enkelte publikasjon» (s. 11). Forskerforbundet er av den klare oppfatning at forskere ikke har behov for eller ønske om insitamenter av denne typen for å øke kvaliteten i forskningsarbeidet. Vi tror heller ikke forskerne vil oppleve at indikatoren fungerer som et klart insentiv til økt kvalitet i den vitenskapelige produksjonen nettopp fordi beregningene er såpass kompliserte og sammenhengen mellom sitering og finansiering er indirekte. Evalueringen av publiseringsindikatoren (ved Dansk center for forskningsanalyse, Aarhus Universitet, 2014) viste at kun 14 % av forskerne mente det var «gjennomsiktige, åpne og veldokumenterte prosesser omkring nominasjon og klassifikasjon av tidsskrifter og bokforlag i publiseringsindikatoren» (s. 65). Endringene i publiseringsindikatoren innført fra januar 2017 medfører allerede en mindre grad av gjennomsiktighet i indikatoren. Forskerforbundet mener de foreslåtte endringene ikke vil stimulere til økt kvalitet og at de forventete gevinstene ved å innføre en siteringsindikator er høyst usikre.

Som NIFU-rapporten selv peker på, er det få erfaringer med denne typen anvendelse av en siteringsindikator for beregning av forskningsfinansiering: «Norge vil eventuelt være det første landet som tar i bruk en siteringsindikator i hele fagbredden» (s. 19). Rapporten tydeliggjør i liten grad hvorfor det vil være gunstig for Norge å være tidlig ute og diskuterer i liten grad evt. risiko forbundet med å være foregangsland. Avsnittet om kostnader forbundet med en innføring av en siteringsindikator (5.4) er kortfattet og preget av usikre anslag.

Rapporten anerkjenner at indikatoren vil mangle validitet og/eller robusthet ved anvendelse på visse fagområder. For å unngå skjevheter i siteringsindikatoren som oppstår av ulik siteringspraksis, foretas det et utvalg som ekskluderer humaniora samt rettsvitenskap, pedagogikk og utdanning, medier og kommunikasjon, kjønnsforskning og sosialantropologi. Av samme årsak (hensyn til validitet/robusthet) utelukkes institusjoner med færre enn 150 publikasjoner i beregningsgrunnlaget for siteringer. Forskerforbundet ser at disse avgrensingene kan tjene til å veie opp for siteringsindikatorens svakheter, men stiller seg likevel kritiske fordi det sender ut et uheldig signal til forskere innenfor de berørte fagområdene og institusjonene. Hvis indikatoren i utgangspunktet skal stimulere til forskningsinnsats, hva er da effekten på de som blir utelatt? Det vil også kunne medføre skjevheter på institusjonelt nivå for mindre institusjoner med humsam-dominert fagprofil. I rapporten blir simulering kun foretatt for året 2015 (dvs. forskningspoeng fra 2015, og siteringer fra 2012-2014), og det er slett ikke sikkert at dette gir et godt bilde av konsekvenser på institusjonsnivå eller vil samsvare med bildet på lengre sikt. Strukturreformen har allerede endret det landskapet NIFU-rapporten tar utgangspunkt i. For store institusjoner vil siteringer trolig ikke variere veldig mye fra år til år, men for mindre institusjoner kan det være store svingninger og dermed ha store konsekvenser (som antydet i 4.2). Dette vil særlig gjelde for alternativ a.

Siteringsindikatoren innbefatter heller ikke bøker fordi faginndeling av bokpublisering ennå ikke er etablert i CRIStin. Forskerforbundet forutsetter at en slik faginndeling etter hvert kommer på plass, og deler NIFU-rapportens vurdering om at dette må foreligge før en eventuell siteringsindikator kan implementeres (3.3.3).

Om bruken av kvantifiserbare måltall i forskning og forskningsfinansiering

Innføringen av publiseringsindikatoren og nivåinndeling på publiseringskanaler har ført til økt oppmerksomhet om kvantitative mål for forskningskvalitet. Bruken av siteringer som et mål på kvalitet og som grunnlag for finansiering faller inn i dette bildet.

Som det slås fast i rapporten fra KDs ekspertgruppe, «Finansiering for kvalitet, mangfold og samspill», er siteringer en «mye brukt indikator på forskningens gjennomslag og relevans for andre forskere» (s. 117). Det betyr ikke at siteringer som måltall ikke har svakheter og skjevheter, noe også ekspertutvalget påpeker. Konsekvensene av en utvidet anvendelse av siteringstall er også omdiskuterte. Forskerforbundet mener at også disse prinsipielle aspektene er vesentlige å vurdere når man skal ta stilling til innføring av en siteringsindikator i norsk forskningsfinansiering.

NIFU-rapporten kommer innledningsvis kort inn på hva en sitering egentlig er et mål på. I noen grad kan det være et mål på kvalitet og på gjennomslag i forskerdiskursen, men som rapporten henviser til kan det være flere årsaker til at en artikkel blir hyppig sitert: «Den kan være utsatt for kritikk, avstandstaken eller korrigering. Den kan være nevnt som en feilkilde» (s. 13). I tillegg kommer det faktum at utstrakt bruk av siteringer som måltall kan stimulere til fusk og manipulering av siteringer, f.eks. i form av såkalte siteringskartell eller overdreven egensitering. Rapporten avviser frykten for disse effektene, med henvisning til ikke-refererte studier (s. 13). Andre kilder viser til at det er grunn til å være på vakt. Rapporten fra det uavhengige Wilsdon-utvalget, «The Metric Tide», slår følgende fast: «There is legitimate concern that some quantitative indicators can be gamed, or can lead to unintended consequences; journal impact factors and citation counts are two prominent examples (s. viii)». Også rapporten fra Aarhus universitet gjennomgår en rekke begrensninger ved siteringsbaserte indikatorer og konkluderer med følgende: «I en incitamentsstruktur vil en citationsindikators mekanismer og virkninger derfor kunne være vanskelige at gennemskue, samtidig med at de aktive påvirkningsmuligheder kan være begrænsede» (s. 29).

Mer grunnleggende er det en økende skepsis i forskerfellesskapet til den utstrakte bruken av kvantitative måltall som grunnlag for vurderinger av prestasjon og kvalitet, slik også «Metric Tide»-rapporten var inne på. «Fewer numbers, better science» het det i en Nature-overskrift i oktober 2016. Der advarte forskere og forskningsledere om at bruken av kvantitative mål som siteringstall dreier forskernes oppmerksomhet vekk fra de gode spørsmålene i retning hva som vil gi flere siteringer og flere publikasjoner, uten tanke for kvalitet eller relevans for samfunnet (Nature, 27. okt. 2016, vol. 538, s. 453-455). Et statlig finansieringssystem bør ikke bygge opp under utilbørlig siteringspress og insentivstrukturer som kan invitere til misbruk. Til tross for gode intensjoner med innføringen av en siteringsindikator for å supplere publiseringsindikatoren, frykter Forskerforbundet at nettopp dette kan bli utfallet.

Høringsspørsmål

Kunnskapsdepartementet ba i sitt høringsbrev om at høringsinstansene skulle ta stilling til konkrete spørsmål. Her vil vi avslutningsvis konkludere i vår respons med å gi svar på disse. 

Bør det innføres en siteringskomponent i publiseringsindikatoren i universitets- og høyskolesektoren?

Forskerforbundet mener det ikke bør innføres en siteringskomponent. Bakgrunnen er gitt i det ovenstående, men vi vil særlig peke på at effektene av en slik indikator er usikre, at det vil være kostnadskrevende og kompliserende, samt at store fagfelt og institusjoner vil måtte ekskluderes fra indikatoren, med de uheldige signaler dette sender ut. Vi tror ikke siteringsindikatoren vil fungere etter hensikten, verken for å stimulere til kvalitet eller for å veie opp for publiseringsindikatorens skjevheter.

Forskerforbundet står med dette fast ved den vurderingen vi foretok ved gjennomgang av rapport om finansiering av universiteter og høyskoler. Vi gir derfor ikke ytterligere svar på KDs høringsspørsmål som tar utgangspunkt i at en variant av siteringsindikatoren innføres.

Har høringsinstansen synspunkter på forslaget om en siteringsindikator som ikke framkommer av innspillene på spørsmålene over?

Forskerforbundet vil gjerne understreke at skepsisen til å innføre en siteringsindikator i finansieringssystemet ikke innebærer en motstand mot siteringsanalyser og bibliometri mer generelt. Snarere ønsker vi å oppfordre til videre forskning og utredning av siteringspraksis som ikke tar sikte på å ha konsekvenser for finansiering, men snarere for å bedre forstå praksis i ulike disipliner, fag og institusjoner, samt å vurdere i hvilken grad siteringer er et godt mål på kvalitet og/eller gjennomslag i forskerfelleskap og samfunn for øvrig. 

Med vennlig hilsen
Forskerforbundet

Petter Aaslestad
Leder

Hilde Gunn Avløyp
Generalsekretær