Tilbakemeldingsrapport

Stiftelsen Dam har utviklet tilbakemeldingsrapporter der fagutvalgsmedlemmene får tilbakemelding på deres karaktersetting, sammenliknet med de andre fagutvalgsmedlemmene.

Se eksempel på rapporten til fagutvalg Forskning her.

Vi ser at våre fagutvalgsmedlemmer ofte bruker karakterskalaen ulikt. Noen setter mange høye karakterer, andre setter mange lave. Noen bruker nesten bare karakterene i midten, andre bruker nesten bare karakterene i ytterkantene. Antakelig handler en del av denne variasjonen om at utvalgsmedlemmene vurderer ulke søknader. Ulikhetene er imidlertid store også blant utvalgsmedlemmer som vurderer de samme søknadene, så vi vet at det ikke bare handler om det.

Siden vi bruker karakterene som grunnlag for å innvilge og avslå søknader, skaper store forskjeller i bruken av karakterskalaen utfordringer for oss.

La oss si at to ulike søknader blir vurdert av to ulike par av fagutvalgsmedlemmer. Søknad X blir vurdert av utvalgsmedlemmene A og B som gir karakterene 5 og 7 (på en skala fra 1-7). Det gir et snitt på 6, vesentlig bedre enn Søknad Y, som bare får 4. Der har utvalgsmedlem C satt 5 og D har satt 3. Tilsynelatende er søknadene av svært ulik kvalitet, men det trenger ikke være slik.

La oss si at utvalgsmedlem B nesten alltid setter karakteren 7, mens utvalgsmedlem D har et snitt på 3 for sine søknader. Da har de to utvalgsmedlemmene egentlig vurdert søknadene ganske likt. Begge har vurdert dem som gjennommsnittlige, men det vises ikke i karakterene de får.

Dette er grunnen til at vi ønsker at utvalgsmedlemmene skal bruke skalaen på likest mulig måte. Det vil alltid være variasjon og alle skal naturligvis vurdere søknadene uavhengig av hverandre, men variasjonen kan ikke bli for stor.

Dette er også grunnen til at vi har utviklet en tilbakemeldingsrapport som gir fagutvalgsmedlemmene informasjon om egen karaktersetting – sammenliknet med de andre i fagutvalget og sammenliknet med de andre utvalgsmedlemmene som vurderer samme søknader. Eksempel på en slik rapport for fagutvalg Forskning kan ses her. I disse rapportene gis det informasjon karaktergjennomsnittet og karakterfordelingen (se grafen under).