– Vi har jobbet lenge og hardt med å legge til rette for å kunne drive forskning på egne prosesser. Det er lettere sagt enn gjort, og krever at man tenker nøye gjennom hvilken informasjon man samler inn og hvordan man samler den inn, sier programsjef i Stiftelsen Dam, Jan-Ole Hesselberg, og fortsetter:

– Resultatet av dette arbeidet er blant annet denne studien. Vi er selvfølgelig veldig glade for å få lov til å presentere den på PEERE-konferansen, der fronten av fagfeltet samles for å presentere siste nytt.

Uenige eksperter

For denne uken arrangeres PEERE International Conference on Peer Review 2020. Det er en konferanse med fokus på fagfellevurderinger – et begrep mange forbinder med vurdering av vitenskaplige artikler, men som også er direkte overførbart til andre vurderingsprosesser, som for eksempel søknadsbehandling.

Stiftelsen Dam driver egen forskning på søknadsbehandling, og på PEERE-konferansen skal Hesselberg og leder for programutvikling i Stiftelsen Dam, Ida Svege, presetnere en studien som der stiftelsen tester effekten av å gi strukturert tilbakemelding til ekspertene (fagutvalgsmedlemmene) som brukes i søknadsbehandlingen.

– De er veldig ofte uenige i sin vurdering av søknadene og mye tyder på at noe av årsaken er at de tenker ganske ulikt om bruken av karakterskalaen. Vi ønsket å undersøke om de ble mer enige etter å ha fått en tilbakemeldingsrapport som beskrev hvordan de brukte skalaen, sammenliknet med de andre ekspertene i gruppen, sier Hesselberg, og legger til:

– De ble mer enige, men forskjellen var «ikke signifikant», som man sier. Vi kommer likevel til å fortsette å bruke tilbakemeldingsrapporten fordi den er veldig enkel å lage og fordi ekspertene setter stor pris på den. Så får vi se om den kanskje bidrar til økt enighet over tid.

Se videopresentasjonen her:

Naturlig del av kvalitetssikring

Stiftelsen Dam er opptatt av å jobbe kunnskapsbasert, og i tiden som kommer vil det bli presentert flere studier som handler om kvalitetssikring av vurderingsprosessene.

– Vi kommer til å publisere flere slike studier etterhvert og mener slik forskning burde være en naturlig del av kvalitetssikringen. Langt flere burde teste endringer man gjør på en systematisk og kontrollert måte. Bare slik kan vi få vite hvilken effekt endringene faktisk har, sier Hesselberg.