Unge som søker hjelp: ChatGPT versus Ung.no
Søknadssammendrag
Bakgrunn for prosjektet/tiltaket
Unge har i økende grad tilgang til helseinformasjon på nettet, uavhengig av etablerte informasjonskanaler. Den teknologiske utviklingen gjør at flere kunstig intelligente (KI) svartjenester også er tilgjengelig på internett. Prosjektet studerer hvordan unge og eksperter vurderer forskjellen mellom råd som gis av KI-roboten ChatGPT versus helseråd fra et ekspertpanel på Ung.no, og hvordan opplever de forskjellene? Ung.no er statens offisielle informasjonskanal for ungdom (samarbeidspartner i prosjektet). ChatGPT er en KI-basert samtalerobot (fra Open AI), lansert 30.11 2022. ChatGPT kan svare på nesten alt, også om helse, på norsk språk. ChatGPT er tatt i bruk av mange unge til skolearbeid, men også til helsespørsmål. Vi vil velge ut vanlige spørsmål om psykisk helse unge har stilt på Ung.no. Deretter tester vi hvordan ChatGPT svarer på disse spørsmålene, og sammenligner med svarene fra eksperter på ung.no. Dette vil gi viktig innsikt i hvordan unge og eksperter opplever svarene fra ChatGPT opp mot svarene på Ung.no. Dette kan belyse hvor godt ChatGPT gir unge støtte og hjelp, samt om Ung.no evt. kan bruke ChatGPT som et støtteverktøy, for å gi raskere og bedre svar til unge. Samlet sett kan dette bidra til å styrke den offentlige satsing på digital helsehjelp til unge.
Aktivitet/tiltak/metode
Prosjektstudien vil velge ut et sett med vanlige spørsmål om psykisk helse unge har stilt på informasjonssiden til Ung.no. Deretter vil vi rekruttere et utvalg (N = 20) av unge (16-20 år) og undersøke deres opplevelser av svar fra ChatGPT sammenlignet med svar fra Ung.no på de utvalgte spørsmålene om psykisk helse. Deltagerne vil ikke vite hvilke svar som er skrevet av hvem (ChatGPT vs. Ung.no), for en troverdig sammenligning som mulig. . I tillegg til unge deltagere, rekrutteres eksperter (helsepersonell/N=8) for å vurdere hvor godt og troverdig ChatGPT svarer på de utvalgte spørsmålene. Dette for å belyse hvordan ChatGPT kan hjelpe Ung.no med å gi svar raskere og bedre til unge om helsespørsmål i fremtiden, og hvor stor tillit vi kan ha til ChatGPT. Vi vil undersøke eventuelle kjønnsforskjeller i hvordan unge gutter og jenter opplever svarene fra ChatGPT og ekspertene på Ung.no. For å gjøre dette vil vi samle inn data om kjønn fra de unge som deltar i undersøkelsen (10 jenter og 10 gutter), og sammenligne disse gruppene opp mot hverandre. Det er relevant å undersøke om det er forskjeller i hvordan gutter og jenter stiller spørsmål om psykisk helse (på Ung.no), og om det er ulikheter i hvordan de opplever svarene fra ChatGPT og ekspertene. Vi vil trekke ut minimum 8 spørsmål på Ung.no fra gutter og 8 spørsmål fra ung.no fra jenter. Mye tyder på at gutter og jenter har ulike behov for informasjon-støtte, også over nettet. De spør f.eks. om forskjellige tema. Ved å undersøke kjønnsforskjeller kan disse tas hensyn til i utvikling av samarbeidsstøtte ved bruk av ChatGPT hos Ung.no. Deltagerne i studien skal ikke opplever emosjonell belastning. Spørsmålene i studien fra Ung.no skal derfor ikke være sensitive deltakerne. De skal ikke trigge eller forverre psykiske helseproblemer hos deltakerne. For å kvalitetssikre utvalget av spørsmål vil dette gjøres i dialog med eksperter fra både Redd Barna og Ung.no. Vi vil i tillegg sikre at personvern blir ivaretatt.
Antall deltakere
30
Forventet virkning av aktiviteten/tiltaket
Effektive digitale hjelpetjenester rettet mot unge er et satsningsområde. Det kan være et nyttig supplement til konvensjonelle helsetjenester, men tilgjengelighet og tillit til digitale tjenester kan være en utfordring. Samtaleroboter som ChatGPT kan styrke unges behov for digital hjelp på følgende måter: 1. Tilgjengelighet: De er tilgjengelige 24/7, noe som gjør det enkelt for ungdom å få rask hjelp når de trenger det. 2. Interaktivitet: De gir en interaktiv opplevelse, noe som gir ungdom mulighet til å stille spørsmål og få direkte svar. 3. Personalisering: De kan tilpasse svarene deres basert på spørsmålene ungdom stiller, noe som gjør hjelpen mer relevant og nyttig. 4. Objektivitet: De gir objektive svar uten å bli påvirket av følelser eller holdninger, noe som gir ungdom tillit til informasjonen de får. 5. Skalerbarhet: De kan håndtere store mengder spørsmål og informasjon, noe som gjør at de kan hjelpe mange ungdom på en effektiv måte. Prosjektet er et samarbeid mellom Ung.no og Redd Barna. Ung.no leverer en tjeneste til mange tusen unge hver eneste dag. Redd Barna (søkerorganisasjonen) ønsker å styrke denne fordi de ser digital hjelp som sentral. Det er viktig for Ung.no å levere raske og gode svar til unge. Prosjektet er viktig for Redd Barna fordi det er faglig kvalitetssikret, og kan bidra til å hjelpe Ung.no og nå ut til flere unge mer effektivt. Vi regner med at kunstig intelligens, og liknende systemer, er noe unge vil bruke fremover når de søker hjelp. Vi må derfor få kunnskap om hvordan teknologien virker, også opp mot oppdiktet informasjon og feilinformasjon. Prosjektet bygger på tidligere forskning fra SINTEF på samtaleroboter og psykisk helse. ChatGPT representerer en spennende ny utvikling som kan gi helt nye forutsetninger for digital hjelp.
Plan for gjennomføring
Ansvarlig for prosjektet: Prosjektleder er ansvarlig for gjennomføringen av prosjektet, og sørge for at prosjektet holdes innenfor tidsplanen og budsjettet. Milepæler: Utvelgelse av spørsmål: innen 01.06.2023 Utvikling av testscenario: innen 15.06.2023 Utvelgelse av deltakere: innen 01.07.2023 Gjennomføring av testing: mellom 01.09.2023 – 20.09.2023 Rapportering og artikler: innen 15.11.2023 Ansvarlig for de ulike elementene: Utvelgelse av spørsmål Prosjektlederen og andre prosjektmedlemmer vil samarbeide med ung.no for å samle inn spørsmål unge har stilt på informasjonsnettstedet. De vil gjennomgå spørsmålene og velge et utvalg som skal brukes i testingen. Prosjektlederen er ansvarlig. Utvikling av testscenario Prosjektlederen vil være ansvarlig for utviklingen av testscenariet. Dette inkluderer å utforme spørsmål som testdeltakerne skal svare på, samt hvilke kriterier som skal brukes for å vurdere ChatGPTs svar og eksperternes svar. Prosjektmedlemmer vil bistå i utviklingen av testscenariet. Utvelgelse av deltakere Prosjektlederen og andre prosjektmedlemmer vil samarbeide med ung.no for å rekruttere unge mennesker i alderen 16-20 år som vil delta i testingen. Prosjektlederen vil være ansvarlig for denne aktiviteten. Gjennomføring av testing Dette vil inkludere å gi testdeltakerne spørsmål å svare på, og registrere svarene deres. De vil også samle inn tilbakemeldinger fra testdeltakerne om deres erfaringer med å bruke ChatGPT. Prosjektlederen er ansvarlig. Rapportering Prosjektlederen vil være ansvarlig for å skrive rapporten med oppsummering av resultatene fra testingen, og en analyse av disse resultatene. Rapporten vil også inneholde anbefalinger for hvordan ChatGPT kan brukes som et støtteverktøy for eksperter hos ung.no.
Sluttrapport
Bakgrunn, målsetting og metode
I denne studien har vi sett på hvordan unge (16–20 år) vurderer svar på mentale helsespørsmål levert av to forskjellige kilder: ChatGPT (GPT4) og fagepersoner tilknyttet ung.no. Målet med studien var å avdekke hvilken kilde ungdommene foretrakk og grunnene til deres preferanse. Slik kunnskap kan hjelpe oss til å forstå hvordan kunstig intelligens (KI) kan brukes inn i nettbaserte hjelpetjenester. Videre undersøkte vi mer generell bruk av store språkmodeller, ChatGPT og My AI, for å få innsikt i ungdommers generelle holdninger til og bruk av slike nettbaserte tjenester. Metodisk gjennomførte vi en kvalitativ eksperimentell studie basert på en spørreundersøkelse, høsten 2023 blant elever ved videregående skoler i Norge. Utvalget bestod av 24 unge (12 gutter og 12 jenter) i alderen 17–20 år. I undersøkelsen ble utvalget presentert for to spørsmål og tilhørende svar fra de to nevnte kildene. Respondentene visste ikke hvilken kilde svarene kom fra og ble bedt om å vurdere svarene basert på ulike kriterier, samt å gi en forklaring på deres preferanse. Resultatene viser overvekt av preferanse for svar fra ChatGPT. En betydelig andel av deltakerne oppfattet svarene fra ChatGPT som mer empatiske, velstrukturerte og av høyere kvalitet sammenlignet med svar fra ung.no. Til tross for dettte, viser funnene at unge per nå i liten grad benytter seg av tjenester drevet av store språkmodeller. Vi må legge til at utvalget er lite og at resultatene derfor må behandles med forsiktighet.
Gjennomføring
Prosjektet ble gjennomført litt annerledes enn opprinnelig planlagt. I steden for en til en intervjuer. Valgt vi å oppsøke vgs elever i et klasserom og kjøre et kvalitativ eksperiment via en nettløsning. Dette Denne metodikken ble valgt for å forbedre påliteligheten av våre resultater og for å fasilitere en grundigere analyse av ChatGPT i forhold til ekspertsvar på Ung.no. Dette arrangementet ble også designet for å legge grunnlaget for en omfattende studie, som forventes å levere mer presise innsikter over tid. For å sikre engasjement og relevans blant målgruppen, ble brukermedvirkning håndtert gjennom tre strategiske tiltak: 1) Utrekk av spørsmål fra de unge selv på ung.no 2) Utrekk av svar på spørsmål fra eksperter som jobber med unge. 3) Elever rekruttert ved diverste vidergående skoler i Norge Med assistanse fra søkerorganisasjonen Redd Barna, ble prosjektets etiske rammeverk nøye evaluert, spesielt med tanke på valg av spørsmål fra Ung.no. Dette tiltaket var avgjørende for å unngå emner som kunne ha en negativ påvirkning på ungdommenes mentale velvære, med en særlig oppmerksomhet mot sensitiviteten rundt mental helse.
Resultater og virkninger
Vi har følgende tre tentative anbefalinger basert på våre funn i til styrking av hjelpetjenester som ung.no i hvordan de kan bruke store språkmodeller i deres arbeid: 1. Integrering av språkmodeller i hjelpetjenester: Basert på funn kan integrering av store språkmodeller som ChatGPT kan forbedre svarkvaliteten med hensyn til informasjonsverdi, interaksjonskvalitet, og tekststruktur. Det er læring å hente fra språkmodellenes evne til å kommunisere godt gjennom å presentere informasjon på en strukturert måte. 2. Utvikling av hybrid samarbeidsmodell: En hybridmodell der språkmodeller som ChatGPT og menneskelige eksperter samarbeider. Dette kan kombinere språkmodellenes effektivitet med menneskelig empati og kvalitetssikring. En samarbeidsmodell tilrettelegger for produktivitetsgevinster ved å effektivisere svarprosessen. 3. Opplæring og bevisstgjøring. Lære opp ansatte om språkmodellers rolle som beslutningsstøtte, ikke beslutningstaker. Dette kan bidra til kritisk bruk samtidig som strenge personverns- og sikkerhetsstandarder må etableres for å sikre unges krav om anonymitet i en spørsmål og svar prosess som involverer sensitive tema som mental helse.