Hjelpeside: Registrert rapport

En registrert rapport er en form for forskningsartikkel der studieprotokollen blir fagfellevurdert før selve studien gjennomføres, og hvor endelig publisering er uavhengig av studiens funn. Registrert rapport er utformet med mål om å redusere publikasjonsskjevhet («publication bias») og andre former for rapporteringsskjevhet.

Publiseringsformen gir samtidig fleksibilitet til å utføre utforskende ikke-planlagte analyser og rapportere tilfeldige funn.

Ved registrert rapport legges det opp til at studiens design og metode planlegges i detalj, og at metodologiske utfordringer avklares, før studien starter og deltakere rekrutteres. Dette gir et mer robust studiedesign, minimerer risikoen for at studien ikke lar seg gjennomføre, og gir mer pålitelige resultater.

Før forskningen utføres, sender forskerne inn et såkalt Stage 1-manuskript til et tidsskrift som tilbyr publikasjonsformen registrert rapport.

Stage 1-manuskriptet inkluderer en introduksjon (med hypoteser der det er relevant), samt forskningsdesign, metodiske detaljer og analyseplaner. Etter fagfellevurdering og eventuell revisjon, blir beslutningen om publisering basert på evalueringen av forskningsspørsmålet og de foreslåtte metodene, og er derfor uavhengig av resultater i studien.

Hvis Stage 1-manuskriptet aksepteres, mottar forfatterne en såkalt «in-principle acceptance» som forplikter tidsskriftet eller plattformen til å publisere resultatene av forskningen, uavhengig av hva disse viser, så lenge forskningen er gjennomført i tråd med planen eller det er gode grunner for eventuelle avvik).

Forskerne gjennomfører forskningen som beskrevet i Stage 1-publikasjonen. Deretter fullfører forskerne et Stage 2-manuskript der resultater og diskusjon av funn inkluderes i den godkjente Stage 1-publikasjonen. Det fullførte manuskriptet gjennomgår en fagfellevurdering som fokuserer på overholdelse av planene som er beskrevet i Stage 1-publikasjonen og vurderer om konklusjonene er gyldige gitt resultatene. Etter eventuelle revisjoner blir den registrerte rapporten publisert.

Registrerte rapporter er først og fremst en publiseringsform som passer svært godt for hypotesedrevet forskning og forskning der det trekkes statistiske slutninger. Dette inkluderer blant annet kliniske studier, replikasjonssutdier, observasjonelle studier og systematiske oversikter («systematic reviews»), men også andre studier som tar sikte på å studere og teste hypoteser uavhengig av studiens forskningsdesign. Enkelte tidsskrift tilbyr også registrerte rapporter som publiseringsform for studier som har en mer eksplorativ tilnærming, herunder kvalitative studier.

Merk at du må forhåndsregistrere studien din på osf.io/registries/dam selv om du velger registrert rapport som publiseringsform. Stiftelsen Dams retningslinjer for åpenhet gjelder alle som mottar prosjektstøtte.

Registrerte rapporter er spesielt egnet for studier med hypotesedrevet forskningsdesign og andre studier der det trekkes statistiske slutninger. Publiseringsformatet bidrar til å sikre at studiene har riktig design og høy metodologisk kvalitet, samt at resultatene blir publisert uavhengig av om de er positive eller negative. Dersom det i tillegg til de hypotesetestende analysene planlegges å gjøre utforskende analyser så utelukker ikke det bruk av registrert rapport. Rapportering av slike resultater kan inkluderes i den endelige publikasjonen såfremt det klart fremkommer at dette er utforskende heller en hypotesetestende analyser.

Flere tidsskrift tilbyr også registrert rapport for kvalitative studier og det finnes egne maler på, sjekk listen over aktuelle tidsskrift og se denne oversikten over hvilke tidsskrift som tilbyr hva for å undersøke om noen passer for din planlagte studie.

Fordi du har høyere sannsynlighet for innvilgelse, kommer raskere i gang med forskningen og forskningen får høyere kvalitet.

Registrert rapport-satsningen i Stiftelsen Dam har en incentivordning som betyr at vi garanterer en noe høyere innvilgelse for søkere som velger registrert rapport i stedet for vanlig søknadsprosess.

Hvis du har valgt registrert rapport og din skissesøknad blir innvilget trenger du ikke å utforme en utvidet søknad, slik du må i vår ordinære to-trinns søknadsprosess. I stedet tildeles du støtte for å utarbeide en Stage 1-protokoll som vil ha et artikkelformat med beskrivelse av introduksjon, studiedesign, og metode. Selv om arbeidet med Stage 1-protokollen og fagfellevurderings- og revisjonsprosessen av denne vil koste noe tid og innsats, så kan du forvente å støte på færre problemer i gjennomføringen av forskningen.

Fordi planleggingen har vært spesielt grundig, vil du ha en «in-principle acceptance» for Stage 2-manuskriptet som vil spare deg for tid og arbeid i den andre enden, og dine resultater og funn vil være mer pålitelige. I tillegg vil du være med på å drive praksisen knyttet til publisering av forskning fremover, gjennom å benytte en modell som er mindre utsatt for skjevheter og som kan skape økt tillit til forskning.

Ved tildeling til et registrert rapport prosjekt i Stiftelsen Dams søknadsmodell, får prosjektet utbetalt 150.000 kroner som skal dekke tidsbruk forbundet med utforming og revisjon av en Stage 1-protokoll. Midlene gis én gang per innvilgede søknad om et registrert rapport-prosjekt.

Det er viktig å lese utlysningen nøye før man søker, der er alle betingelser og krav beskrevet. I programmet Forskning er det mulig å søke om minimum 1.500.000 og maksimalt 3.000.000 kroner. Ti prosent av søknadssummen vil bli holdt tilbake til sluttrapporten fra prosjektet er godkjent. Det kan ikke søkes om delfinansiering av prosjekter der søknadssummen utgjør mindre enn en tredjedel av totalbudsjettet. Totalbudsjettet for prosjektet må oppgis i søknadsskjemaet.

Stage-1 protokoll skal sendes aktuelt tidsskrift fra listen på COS.io senest 15. september samme år som tildelingen. Tildeling skjer i april. Se utlysningen for flere detaljer om viktige datoer.

Prosjektperioden må angis i skissesøknadsskjemaet. Startdato for prosjektet må tidligst være 1. januar og senest 15. juni året etter tildeling. Maksimal prosjektlengde er 48 måneder.

Stage1-publikasjonen må være innsendt til tidsskrift fra lisen på COS.io innen 15. september og akseptert for publikasjon innen 31. desember samme år.

Du kan velge registrert rapport prosjekt dersom du planlegger et prosjekt med flere delstudier som skal ende opp i flere publikasjoner, som for eksempel et PhD eller postdoc prosjekt som vanligvis ender opp i 2-4 publikasjoner.

Da må alle publikasjonene som utgår fra prosjektet publiseres som registrerte rapporter. Dette kan gjøres på to måter:

1) Du kan skrive en Stage 1-protokoll for hver publikasjon og publisere i tidsskrift som er inkludert på listen til Center of Open Science; eller

2) Du kan skrive en «programmatic Stage 1 protocol» og sende inn til Peer Community In (PCI). PCI er en publiseringsplattform som står på listen til Center of Open Science. De tilbyr publisering av «programmatic registered report» som betyr at du kan sende inn en Stage 1-protokoll som skal resultere i flere Stage 2-manuskripter.

Mer informasjon om PCI og «programmatic registered report» finner du på PCI sin guide. Merk at hvis du velger å publisere gjennom PCI så må alle Stage 2-manuskriptene publiseres som registrerte rapporter og når du får en anbefalt IPA så er det godkjent for publisering i valgfritt tidsskrift på PCI sin liste for «registered report-friendly journals».

Ja. Hvis du har registerdata eller annen type sekundær data (data som allerede eksisterer) så kan du likevel søke om registrert rapport prosjekt.

I Stage 1 protokollen din er det viktig at du er åpen om hvor mye av dataen som allerede har blitt analysert og hvem som har tilgang til dataen. På OSF sine sider finnes det en egen mal for preregistrering av sekundær data som gir nyttig info om hva som bør fokuseres på i en slik Stage 1 protokoll.

Ja. Det er flere av tidsskriftene som tilbyr publisering av registrerte rapporter med bruk av kvalitativ data, og de blir vurdert på samme måte som Stage 1 protokoller som bruker kvantitativ data. Det er likevel noe av innholdet i Stage 1 protokollen som vil se annerledes ut i og med at det er en annen type data. På OSF sine sider finnes det en egen mal for preregistrering av kvalitativ data som gir nyttig info om hva som bør fokuseres på i en slik Stage 1 protokoll.

Ja, vi oppfordrer til å publisere all forskning som registrerte rapporter så lenge forskningen kan passe inn i formatet, men det er ikke et krav.

I dag er den vanlige fremgangsmåten at forskerne planlegger og gjennomfører studien sin, og deretter finner et tidsskrift å publisere i. Tidsskriftet vurderer om studien holder faglig god kvalitet og om det er verdig å bli publisert.

«Registrert rapport» innebærer at tidsskriftenes vurdering flyttes fram til før studien starter. Forskerne sender inn en prosjektbeskrivelse der de redegjør grundig for bakgrunnen for studien, hypotesene de har og hvordan de skal teste dem. Dersom tidsskriftet vurderer studien som tilstrekkelig god, vil forskerne få en garanti for at resultatene av studien vil bli publisert, forutsatt at forskerne følger planen eller har gode grunner for å avvike fra den.

De fleste tidsskrifter ønsker at man skal skrive Stage 1-protokollen i samme format som en vanlig artikkel, med detaljert beskrivelse av introduksjon, metode og studiedesign. Resultater og diskusjon av resultater legges til i Stage 2-manuskriptet. På Center of Open Science kan du finne en mal for å skrive registrert rapport som belyser hva en Stage 1-protokoll skal inneholde. Her finner du også maler for forhåndsregistrering av ulik type data som er relevant for forskningsprosjekter som for eksempel skal samle inn kvalitativ data eller som bruker registerdata eller annen sekundær data.

Det ligger mange eksempler på offentlig åpne Stage 1-protokoller på både Center of Open Science sin side og PCI sin side. Her kan du søke opp preprints av Stage 1-protokoller som ligner ditt eget forskningsprosjekt for å se hva din Stage 1-protokoll bør inneholde.

Under kommer det noen tips for å skrive en god registrert rapport. Disse tipsene har tatt utgangspunkt i Chambers & Tzavella sin artikkel fra 2022 som gir mer nyttig informasjon om registrert rapport:

• Formuler tydelige forskningsspørsmål og hypoteser.
• Beskriv hvor gjennomførbart prosjektet er (for eksempel ved å inkludere statistical power testing der det er relevant).
• Tenk på validiteten og reliabiliteten til metoder og analyser (pilot-data, datasimulering, eller predefinerte statistiske skript/syntaxer kan inkluderes der det er relevant).
• Sørg for at det er en tydelig rød tråd mellom hvert forskningsspørsmål og tilhørende hypotese(r), plan for datainnsamling, plan for analyse, og tolkning i tråd med teori avhengig av mulige utfall.

Etter at skissesøknaden er innvilget av Stiftelsen Dam, får man 150.000 kroner i støtte til å skrive Stage 1-protokollen (se eget punkt over om hvordan man skriver Stage 1-protokoll).

Stage 1-protokollen må sendes til et godkjent tidsskrift av Centre of Open Science (cos.io) som tilbyr publikasjonsformen registrert rapport.

Hvis Stage 1-protokollen aksepteres, mottar forfatterne en «in-principle acceptance» (IPA) som forplikter tidsskriftet eller plattformen til å publisere resultatene av forskningen, uavhengig av hva disse viser, så lenge forskningen er gjennomført i tråd med Stage 1-protokollen og eventuelle avvik fra protokollen er godt begrunnet (se Figur 1 for illustrasjon av registrert rapport prosessen).

Etter at Stage 1-protokollen mottar en IPA, blir prosjektmidler (fra Dam) utbetalt.

Forskningen gjennomføres som beskrevet i Stage 1-protokollen. Deretter skriver forskerne et Stage 2-manuskript der resultater og diskusjon av funn inkluderes i den godkjente Stage 1-protokollen. Det endelige manuskriptet sendes inn til samme tidsskrift som har gitt en IPA, og det gjennomgår en fagfellevurdering som fokuserer på overholdelse av Stage 1-protokollen. Etter eventuelle revisjoner blir den registrerte rapporten publisert som en artikkel.

I verden i dag er så mye som 85 prosent av all helseforskning bortkastet (Paul Glasziou og Iain Chalmers, The Lancet, 2009). Det skyldes blant annet at forskningsresultatene aldri deles, og fordi forskerne tar problematiske snarveier. En annen viktig årsak er at interessekonflikter i for stor grad påvirker forskningsresultater.

Det ønsker Stiftelsen Dam å motvirke. Ved å velge «registrert rapport» som publiseringsmetode garanteres det at forskningen publiseres, uavhengig av resultat. Det innebærer også at det blir mulig å ettergå forskningen i større grad, fordi valg av hypoteser, hva man måler og hvilke analysemetoder man skal bruke offentliggjøres før studien starter. Det gjør at både forskere, pasienter, pårørende, helsepersonell og beslutningstakere kan se hvilke studier som er igangsatt. Det åpner for bedre kunnskapsbygging og bedre brukermedvirkning.

Stiftelsen Dam har siden 2016 jobbet for mer åpenhet i forskningspublisering, og nå mener vi at tiden er inne for å satse på denne publiseringsformen.

Stiftelsen Dam skal gjennomføre et toårig prøveprosjekt med «registrert rapport» fra og med utlysningen for Forskning 2024. Søkere til forskningsprogrammet kan velge om de ønsker å publisere på denne måten, men dersom man gjør det er man garantert en noe høyere sjanse for innvilgelse av prosjektet.

Rent praktisk innebærer det at Stiftelsen Dams eksterne fagutvalg – som normalt vurderer søknadene – blir erstattet av tidsskriftenes vurdering av prosjektene i den utvidede søknaden. Alle søknader sendes først inn som skissesøknad, og disse vil fortsatt bli vurdert av Dams fagutvalg.

Det er ikke tilfeldig hvilke resultater som ikke blir publisert. Resultater som fremmer kommersielle interesser eller forskernes egeninteresser, har betydelig større sjanse for å bli publisert. I skuffen ligger resultatene som viser at tiltak og behandlinger ikke virker eller har bivirkninger, eller resultater som fagfellene og redaktørene i de vitenskapelige tidsskriftene mener ikke er spennende nok.

I sum gjør det at milliarder av kroner har blitt investert i bortkastet forskning, og at den publiserte forskningen gir et feilaktig bilde av kunnskapsstatus. Det bekreftes gjennom flere store replikasjonsstudier der forskere har forsøkt å gjenta eksperimenter for å se om resultatene holder seg.

I teorien kan krav om å forhåndsregistrere studier løse problemene. Da registrerer forskerne planen for studien sin i en offentlig database før oppstart. For legemiddelstudier er det krav med slik registrering og at resultater deles i databasen senest 12 måneder etter at studien er fullført. I tillegg har alle de viktigste medisinske tidsskriftene signert på at de krever en slik registrering og at ingen artikler skal publiseres uten at det redegjøres for eventuelle endringer.

Problemet er at disse kravene ikke følges tilstrekkelig opp, verken av Legemiddelverket eller tidsskriftene.