KI-drevet Norsk Tegnspråkoversetter

Søknadssammendrag

Bakgrunn for prosjektet/tiltaket

Norsk tegnspråk (NTS) er et minoritetsspråk på linje med andre norske minoritetsspråk. I likhet med andre språk er tegnspråk i stadig utvikling. Tegnspråk påvirkes av norsk språk, kultur, tradisjon, elementer fra norsk tale og fra andre lands tegnspråk. I 2009 ble norsk tegnspråk anerkjent som et fullverdig og selvstendig språk. I dag er det behov for en teknologi som kan lese NTS og oversette det til tekst og fra tekst til NTS. På den måten kan NTS-brukere bli mer inkludert i diskusjoner med ikke-NTS brukere. Til nå har utviklingen av en teknologi som kan lese NTS innebært at alle mulige gester og ansikts-/munnuttrykk måtte kartlegges (mer enn 10.000 ord og alle deres mulige kombinasjoner i setninger), noe er en umulig oppgave med dagens ressurser. Imidlertid gjør de siste fremskrittene innen kunstig intelligens (KI) og store språkmodeller, gjort det mulig å utvikle teknologi som kan støtte NTS-brukere i deres samhandling med mennesker som ikke kan NTS. Først planlegger vi et pilotprosjektet som en forsknings- og utviklingsaktivitet, hvor vi vil skape en brukersentrert, robust metodikk for behandling av disse videoene sammen med en prototypapplikasjon. På den måten kan vi teste gjennomførbarheten av ideen og øke sjansene for suksess i et fremtidig hovedprosjekt.

Aktivitet/tiltak/metode

Prosjektet vil ha følgende aktiviteter: i) undersøke AI-teknikker for video-basert kroppssporingsanalyse med høy nøyaktighet og teste disse for å skape en AI-basert metodikk for behandling av STATPEDs videoer som er skalerbar, slik at vi kan behandle tusenvis av videoer i et fremtidig prosjekt, ii) basert på resultatet fra i) utvikle en prototypeapplikasjon som vil analysere video for å gjenkjenne tallene 0 til 9 i NTS fra brukere av NTS (brukt individuelt eller i setninger) og oversette dem til tekst, iii) empirisk evaluere og teste nøyaktigheten og manglene ved prototypens gjenkjennelse av tallene 0-9 med brukere fra NDF, iv) formidle denne forskningen i nasjonale/internasjonale fora .

Antall deltakere

11

Forventet virkning av aktiviteten/tiltaket

Resultatet av dette prosjektet kan ha følgende innvirkning: 1. Utvikling av en maskinlærings/KI-basert metodikk for videoanalyse av tegnspråk som kan brukes i norsk tegnspråk, men også i andre tegnspråk. 2. En første prototyp som kan lese NTS og transformere det til tekst. 3. Prosjektet vil utvikle grunnlaget for et system for sanntids oversetting av NTS til tekst. Dette kan øke deltagelsen til NTS-brukere i fora med mennesker som ikke kan NTS. Dette vil skape et bedre inkluderende miljø for deres daglige aktiviteter.

Plan for gjennomføring

Organisering Prosjektet vil organiseres med en prosjektleder ansvarlig for gjennomføringen av prosjektet, og sørge for at prosjektet holdes innenfor tidsplanen og budsjettet. Det vil etablere en arbeidsgruppe som består av nøkkelpersoner fra de samarbeidende organisasjonene. Disse vil møtes hver 14. dag under prosjektperioden for koordinering og rapportering av status. Milepæler – nøyaktige datoer (se 3.2.3 for milepælers titler): M1. 15.03.2024 M2. 30.06.2024 M3. 15.11.2024 M4. 31.12.2024 Ansvarlig for de ulike elementene: – Levering av videoer: Prosjektlederen vil samarbeide med STATPED for å motta høykvalitetsvideoer av NTS-talere som signerer nummer 0-9. Prosjektlederen er ansvarlig. – Gjennomgang av ML/KI-metoder og rapportering: Prosjektlederen og SINTEF-medlemmer vil gjennomgå den nyeste teknologien og vil dokumentere de mest passende ML/KI-teknikkene for vårt tilfelle. Prosjektlederen er ansvarlig. – Utvikling av applikasjon, ver.1&2: Prosjektleder vil være ansvarlig for å utvikle applikasjonen som skal bruke ML/KI til å kjøre videoanalyse av NTS og dokumentere alle gester og munnuttrykk. Det vil være 2 versjoner/iterasjoner av applikasjonen. – Testing av applikasjon, ver.1&2: Prosjektlederen vil samarbeide med prosjektmedlemmene og NDF for å teste den utviklede applikasjonen. NDFs NTS-talere/brukere vil teste applikasjonen på hvor godt den kan identifisere NTS-numrene 0-9 og kvantitative data vil bli samlet inn. Prosjektlederen er ansvarlig. – Rapportering og artikkel: Prosjektlederen vil være ansvarlig for å skrive rapporten med oppsummering av resultatene fra testingen, og en analyse av disse resultatene.