 |
MUMS |
Mobiili Mu |
ltimodaalinen Reitinopastus |
|
MUMS |
Mobiili Mu |
ltimodaalinen Reitinopastus |
|
TEKESin Fenix-ohjelmaan kuuluvassa "Puheteknologian uudet menetelmät ja sovellukset" (PUMS) -hankkeessa tutkitaan puheen hyödyntämistä ihmisen ja tietokoneen välisessä vuorovaikutuksessa. Hankkeen sovellusosuudessa hyödynnetään perusteknologioita (puheentunnistus, puhesynteesi, puheen koodaus, puhujantunnistus) sovellusten tasolla. Sovellusalueet ulottuvat opetusteknologiasta kulunvalvontaan sekä tällä sivulla esiteltävään MUMS-reitinopastusjärjestelmään. Käyttäjäkeskeisessä kehitystyössä huomioidaan erityisesti paljon liikkuvat sekä näkövammaiset käyttäjät. Hankkeen yhtenä jatkotavoitteena on tuottaa korkealaatuinen matkustajainformaatiojärjestelmä Helsingissä 2007 pidettävään kansainväliseen UITP -joukkoliikennekonferenssiin.
Yhä pienemmissä mobiililaitteissa käyttäjärajapinnan suunnitteluun on kiinnitettävä aiempaa enemmän huomiota. Puhe on ihmiselle luonnollinen ja nopea kommunikointitapa, mutta puheentunnistuksen haasteiden vuoksi puhejärjestelmien yleistymistä saadaan vielä odottaa. Puhetta voidaan kuitenkin tukea erilaisten ihmiselle luonnollisten rinnakkaisten informaatiokanavien, esimerkiksi eleiden ja osoitusten, avulla, ja tätä niin kutsuttua multimodaalisuutta on hyödynnetty jo jonkin aikaa erilaisissa rajoitetuissa tehtävissä. Vaikka multimodaalisuuden hyödyt ovat kiistattomat, monimutkaistaa se järjestelmän rakennetta sekä ihmisen ja koneen välisen interaktion suunnittelua. Tämä hidastaa osaltaan multimodaalisten järjestelmien yleistymistä.
Kuva 1. MUMS-sovellus käytössä
Standardin PDA-laitteen (muiden päätelaitteiden käyttö on mahdollista, mutta sovelluksen toimintoja on karsittava mm. kosketusnäytön puuttumisen takia) avulla käytettävä MUMS-reitinopastusjärjestelmä pyrkii julkisen liikenteen tehokkaaseen hyödyntämiseen. Käyttäjä keskustelee järjestelmän kanssa käyttäen luonnollista puhetta ja laitteen kartalle piirrettyjä syötteitä. Järjestelmä taas opastaa käyttäjää synteettisen puheen ja graafisten karttaesitysten avulla. Järjestelmään kuuluu myös satelliittipaikannin, jonka tarjoaman paikannustiedon avulla käyttäjä pysyy selvillä sijainnistaan. Sen avulla tuetaan kuitenkin myös käyttäjän ja järjestelmän välistä yhteisymmärrystä - joka puolestaan yksinkertaistaa ja tehostaa dialogia.
Kuva 2. Järjestelmän rakenne
Käyttäjän puheen tunnistusta voidaan helpottaa myös hyvin suunnitellulla vuorovaikutusmallilla (dialogimallilla). MUMS-järjestelmässä strategiaksi on valittu keskustelijoiden väliseen yhteisymmärrykseen pyrkiminen dialogin kahdessa eri vaiheessa: 1. reitinmäärityksessä (käyttäjä ja järjestelmä pyrkivät yhdessä määrittelemään reitin, joka on järjestelmän kannalta mahdollinen ja joka kelpaa käyttäjälle), sekä 2. reitinopastuksessa (järjestelmä opastaa käyttäjää edellä määritellyllä reitillä).
Jatkossa on tarkoitus hyödyntää paikannusta älykkäämmin myös opastusvaiheessa, jolloin käyttäjää voidaan ohjata monipuolisemmin ja tilanneherkemmin, kun tarkka senhetkinen sijainti on tiedossa.
MUMS-järjestelmän toimiva prototyyppi on tällä hetkellä rajoitetussa koekäytössä. Järjestelmälle suoritettiin vuoden 2005 lopulla 20 hengen evaluaatio, jossa koehenkilöt käyttivät laitetta skenaariopohjaisissa tehtävissä. Evaluaation tarkemmista tuloksista raportoidaan vuoden 2006 aikana, ja järjestelmän kehitystä jatketaan edelleen.
Käyttäjä voi liikutella ruudulla näkyvää karttaa vapaasti useammassa mittakaavassa, reaaliajassa. Käyttäjän syötteet - puhe ja karttaosoitukset - nauhoitetaan yhtäaikaisesti käyttäjän painaessa nauhoitusnappia. Käyttäjä voi esittää reittikysymykset haluamallaan tavalla joko unimodaalisesti, eli vain yhtä syötteenantotapaa käyttäen, tai multimodaalisesti allaolevan esimerkin mukaisesti. Kuvassa 3 nähdään myös järjestelmän esittämä vastaus, jossa yhdistellään synteettistä puhetta graafiseen karttaesitykseen. Kun käyttäjä hyväksyy järjestelmän ehdottaman reitin, siirrytään reitinopastusvaiheeseen sanomalla esim. "opasta". Käyttäjää opastetaan juuri määritetyllä reitillä etappi kerrallaan, joko normaalilla tai tarkalla opastustasolla.
Kuva 3. Käyttöliittymä
Järjestelmä pyrkii käyttäjän niin halutessa hyödyntämään GPS-paikannustietoa. On luonnollisesti helpompaa muodostaa reittikysymys olettaen, että järjestelmä tietää käyttäjän sijainnin:
Ilman paikannustietoa: "Haluan Aleksanterinkatu kolmestatoista Länsi-Pasilaan."
Paikannustiedon avulla:"Haluan täältä Länsi-Pasilaan." tai vain: "Haluan Länsi-Pasilaan."
Järjestelmän vastaanottamat syötemuodot ja sen puheenvuorollaan käyttämät tulostusmuodot ovat vapaasti käyttäjän valittavissa sovelluksen asetuksista. Myös tarkka reittikuvaus löytyy tekstimuotoisena reittivälilehdeltä.
MUMS-järjestelmä on rakennettu hyödyntäen helposti konfiguroitavaa, täysin Java-kielellä toteutettua Jaspis -sovellusarkkitehtuuria. Järjestelmästä on yhteys erilliseen reittitietokantaan. Osa käyttäjän ja järjestelmän välisestä dialogista suoritetaan palvelimella ja osa päätelaitteella sen kykyjen mukaisesti, esimerkiksi PDA-laitetta käytettäessä synteettinen puhe tuotetaan päätelaitteella ja puheentunnistus suoritetaan palvelimella. Informaatio kulkee järjestelmän osien välillä XML-muotoisena (poislukien nauhoitettu puhe).
Päätelaitesovelluksesta vastaanotettu puhe ja kosketusnäytöllä annettu taktiilisyöte tunnistetaan erillisissä prosesseissa. Tämän jälkeen niille suoritetaan monivaiheinen fuusio, jonka jälkeen tämän yhdistetyn muodon avulla pyritään selvittämään käyttäjän intentiot. Dialoginhallinta päättää tämän perusteella seuraavan puheenvuoronsa sisällön ja muodostaa tilanteen mukaisen vastauksen; se joko pyytää lisäinformaatiota, tai kokoaa reittihaun pohjalta reittitiivistelmän tai etappiopasteen. Lopuksi vastaus lähetetään päätelaitesovellukseen käyttäjän kuultavaksi ja nähtäväksi.
Tarkempi järjestelmän ja sen osien kuvaus löytyy kohdan 'Materiaalia' aineistosta.
Topi Hurtig, etunimi.sukunimi@helsinki.fi, 050-385 0623
Kristiina Jokinen, etunimi.sukunimi@helsinki.fi
Yleisen kielitieteen laitos
PL 9 (Siltavuorenpenger 20 A)
00014 Helsingin yliopisto
|
Päivitetty: 10.04.2006