Styring av iPhone via visuelle gester

Søknadssammendrag

Prosjektsammendrag

Personer med taleutfordringer har ofte ikke tilgang på kommandostyring via stemme på mobiltelefoner, og for den gruppen vil gester være et alternativ dersom en ikke ønsker benytte seg av taster. I denne gruppen utgjør hørselshemmede personer med så redusert hørsel at de ikke kan benytte seg av styring med stemme en relativ stor gruppe. Det finnes også andre grupper med taleutfordringer som følge av andre typer funksjonsnedsettelser og nerveskader. Disse gruppene opplever at de ikke har muligheter til å styre mobiltelefonen med andre metoder enn å bruke taster. I mange situasjoner er det praktisk å bruke tale, og det oppstår da et teknologisk gap, som bryter med prinsippene for universell utforming, som lett kan oppleves som ekskluderende for personer uten klar tale. Talestyring er kommet for å bli samtidig som individer ikke har muligheten til å interagere med teknologi på samme måte. Problemet kan være ekstra stort for individer som både har utfordringer med tale og bruk av tastatur. Et forsiktig estimat er at rundt 75 000 individer kan bli berørt av løsningen som utvikles i dette prosjektet. Prosjektet vil utjevne forskjellene ved å utvikle en app som kan avlese gester og konvertere de til tekst eller styre funksjoner i iPhone mobiltelefoner. Vi fokuserer på iPhone fordi mange sterkt tunghørte og døve har iPhone som et resultat av at FaceTime tidligere hadde bedre kvalitet på videosamtaler enn andre konkurrenter, noe som har betydning når man bruker tegnspråk i telefonsamtaler. På grunn av kapasitetshensyn er ikke Android plattformen inkludert i prosjektet, men en løsning på Android mobiltelefoner vil eventuelt være høyst aktuelt etter prosjektperioden. Appen vil benytte en gestgjenkjenningsmodell som kjenner igjen et sett på rundt 50 gester. Gestene er knyttet ulike funksjoner på mobiltelefonen, som å generere tekst til meldinger eller norsk uttale, eller aktivering av andre funksjoner som kameraknapp. Gjestgjenkjenningsmodellen vil bli implementert i en app som er tilgjengelig via App Store. Et testpanel samt en referansegruppe vil gi tilbakemeldinger underveis i prosjektperioden for å sikre at gestene og funksjonene er relevante og nyttige for målgruppen. Når en app er ferdigutviklet, lanserer vi en instruksjonsvideo og skriftlige instruksjoner for å øke kunnskap og bevissthet om appen. Gestgjenkjenningsmodellen vil også være fritt tilgjengelig for andre aktører som ønsker implementere gester inn i sine apper og programvareløsninger. Vi vil også sikre at appen er tilgjengelig på App Store i minst tre år etter prosjektslutt. Prosjektet vil gi målgruppen muligheten til å utforske teknologi på egne premisser, og erfaringene kan brukes som grunnlag for videre utvikling. Andre mindre og større aktører kan også fritt benytte kunnskap fra dette prosjektet til å implementere løsninger som er inkluderende og i større grad følger prinsipper om universell utforming.