Markku Turunen1, Ari Virtanen2, Topi Hurtig3, Kristiina Jokinen3, Esa-Pekka Salonen1 ja Sami Koskinen2
Tampereen yliopisto, tietojenkäsittelytieteiden laitos1, VTT, tuotteet ja tuotanto2, Helsingin yliopisto, käännöstieteen laitos3
Suomenkielisen puheteknologian sovelluksista hyötyä erityisesti liikkuville käyttäjille ja erityisryhmille
TEKESin Fenix-ohjelmaan kuuluvassa "Puheteknologian uudet menetelmät ja sovellukset" (PUMS) hankkeessa tutkitaan puheen hyödyntämistä ihmisen ja tietokoneen välisessä vuorovaikutuksessa sekä perusteknologian (puheentunnistus, puhesynteesi, puheen koodaus, puhujantunnistus) että teknologiaa hyödyntävien sovellusten tasolla. Hankkeessa on koottuna koko kansallinen osaaminen alan tutkimuslaitoksista yrityksiin. Sovellusalueet ulottuvat opetusteknologiasta kulunvalvontaan sekä tässä artikkelissa tarkemmin esiteltäviin julkisen liikenteen sovelluksiin.
Hankkeen sovellusosuudessa kehitetään suomenkielisiä puhesovelluksia erilaisille käyttäjäryhmille. Käyttäjäkeskeisessä kehitystyössä huomioidaan erityisesti liikkuvat käyttäjät sekä näkövammaiset käyttäjät. Toteutettavien sovellusten käytettävyyttä testataan jatkuvasti projektin aikana. Hankkeessa kehitettävä puhelinpohjainen aikataulupalvelu on ollut julkisessa käytössä vuodesta 2003. Hankkeen yhtenä jatkotavoitteena on tuottaa korkealaatuinen matkustajainformaatiojärjestelmä Helsingissä 2007 pidettävään kansainväliseen joukkoliikennekonferenssiin. Hankkeessa hyödynnetään multimodaalisia käyttöliittymäteknologioita lisätoiminnallisuuden ja tehokkaan vuorovaikutuksen aikaansaamiseksi.
Sovelluksissa hyödynnetään sekä kaupallista että projektissa kehitettävää puheteknologiaa (mm. hankkeen synteesiosuudessa kehitettävää uutta puhesynteesiä) ja toteutuksessa käytetään yleistä sovellusarkkitehtuuria. Hankkeessa on kehitetty teknologiaa hajautettuihin sovelluksiin, ja siinä hyödynnetään erilaisia mobiileja päätelaitteita Symbian älypuhelimista Windows Mobile kämmentietokoneisiin. Osa käyttäjän ja järjestelmän välisestä dialogista suoritetaan palvelimella ja osa päätelaitteella (älypuhelimella tai kämmentietokoneella) sen kykyjen mukaisesti, esimerkiksi käyttämällä päätelaitteella sijaitsevaa puhesynteesiä ja palvelimella sijaitsevaa puheentunnistinta.
Puhelinpohjainen aikataulujärjestelmä tarjoaa tietoa Tampereen, Helsingin ja Kouvolan paikallisliikenteen aikatauluista. Palvelu puhuu soittajalle bussien aikataulut halutun pysäkin tarkkuudella. Esimerkiksi Tampereelta järjestelmä tuntee noin 1200 pysäkkiä. Järjestelmää voi käyttää tavallisilla lanka- ja matkapuhelimilla eikä se vaadi mitään erikoislaitteita tai taitoja. Järjestelmä ymmärtää normaalia puhetta ja vastaa synteettisellä puheella. Alla on esimerkkidialogi järjestelmän perustoiminnasta:
| Järjestelmä: | Tervetuloa PUMS-järjestelmään. Ohjeita saat sanomalla kerro ohjeet. Kuultuasi äänimerkin, kerro pysäkin nimi, esimerkiksi Tampere-talo. |
| Käyttäjä: | Hatanpään sairaala. |
| Järjestelmä: | Haetaanko pysäkin Hatanpään sairaala aikataulu? |
| Käyttäjä: | Kyllä. |
| Järjestelmä: | Nimellä Hatanpään sairaala löytyi 3 pysäkkiä. Yhdistän pysäkkien aikataulut, hetki.
Kello on nyt 11.01. Tänään seuraavat vuorot pysäkiltä Hatanpään sairaala ovat: Kaupin sairaalalle linja kakskytyks neljän minuutin kuluttua, Sarankulmaan linja seiska kymmenen minuutin kuluttua, Korkinmäkeen linja kakskytyks kahdentoista minuutin kuluttua, Ruotulaan linja seiska kello 11.18, Petsamoon linja kolmonen kello 11.29, sarankulmaan linja seiska kello 11.41 ja Lahdesjärvelle linja kolmonen 11.44. Anna komentosi, esimerkiksi kerro ohjeet. |
Aikataulujärjestelmä on ollut julkisesti käytössä Tampereella vuodesta 2003 alkaen. Kaikki järjestelmälle soitetut puhelut on nauhoitettu tutkimustarkoitukseen. Lisäksi järjestelmälle on suoritettu erilaisia käyttäjätestetejä. Näiden analysoinnin ja tulosten pohjalta järjestelmän käytettävyyttä on parannetty yhteistyössä eri käyttäjäryhmien kanssa.
Voit kokeilla pysäkkiaikataulujärjestelmää itse - katso lisätietoja kohdasta "aiheesta enemmän".
Multimodaalisessa aikataulujärjestelmässä käyttäjä keskustelee järjestelmän kanssa kämmentietokoneen tai älypuhelimen välityksellä. Puheen lisäksi käyttöliittymässä hyödynnetään näppäimistöä navigointiin ja näyttöä graafisten valikoiden esittämiseen, kun taas tavallisessa puhelimessa sama tieto esitetään pelkän synteettisen puheen välityksellä. Käyttöliittymät tuotetaan molemmissa saman standardiksi muodostuneen VoiceXML-kuvauksen perusteella kuvan 1 mukaisesti.
Kuva 1: Puheeseen perustuva puhelinkäyttöliittymä ja multimodaalinen älypuhelinkäyttöliittymä.
Figure 1: Speech-only telephone interface and multimodal smartphone interface.
Aikatauluinformaation lisäksi hankkeessa tutkitaan sovelluksia reitinopastusinformaation ja häiriötietojen esittämiseksi liikkuvalle käyttäjälle. Opastuksen toteuttamisen edellytyksiä ovat reittisuunnitelma ja matkustajan paikannus. Reittisuunnitelman avulla saadaan tietoon käytettävät matkustusvälineet, linjat, pysäkit ja kellonajat. Matkustajaa paikantamalla voidaan seurata reitin toteutumista ja poimia matkustajainformaatiolähteistä vain hänelle relevanttia informaatiota, esimerkiksi häiriötietoa. Opastusjärjestelmän toimintatilaa voidaan myös vaihtaa automaattisesti paikan ja ajan mukaan. Ensin järjestelmä voi opastaa pysäkille, siellä siirtyä seuraamaan reaaliaikaista linja-auton tuloaikaa ja linja-autossa kertoa millä pysäkillä pitää jäädä pois, ilman että käyttäjä puuttuu toimintaan millään tavoin.
Paikantamalla voidaan tehostaa myös aikataulukyselyjä ja reittisuunnitelman tekoa, kun osa lähtötietojen syötöstä voidaan jättää pois ja yksinkertaistaa tietohakuja. Esimerkiksi "Hae pysäkin XXX aikataulu" voidaan yksinkertaistaa hauksi "Hae aikataulu", jolloin pysäkkikoodia ei tarvitse tietää, vastaavasti reittisuunnitteluun riittää vain matkustuskohteen antaminen, koska lähtöpiste tunnetaan. Järjestelmässä hyödynnetään GPS-paikannusta.
Multimodaalisen MUMS-järjestelmän suunnittelun lähtökohdat ovat olleet projektin yleisten tavoitteiden mukaisesti vuorovaikutuksen luonnollisuudessa ja luontevuudessa. Käyttäjä keskustelee järjestelmän kanssa kämmentietokoneen välityksellä käyttäen luonnollista puhetta ja kämmenmikron näytölle piirrettyjä osoitussyötteitä. Käyttäjä voi esittää reittikysymykset haluamallaan tavalla joko unimodaalisesti, eli vain yhtä syötteenantotapaa käyttäen, tai multimodaalisesti vaikkapa kuvan 2 esimerkkidialogin mukaisesti. Kuvassa 2 nähdään myös järjestelmän synteettisen puheen ja graafisen karttaesityksen yhdistelmänä esittämä vastaus. Järjestelmä osaa myös vastata tarkennuskysymyksiin (esim. "kuinka pitkään matka kestää?").
 |
 |
Kuva 2: MUMS-järjestelmän esimerkkidialogi. Käyttäjä: Haluan Oopperasta ... tänne. MUMS: Raitiovaunu 7B lähtee pysäkiltä Ooppera kello 13:46. Vaihtoja ei ole. Tuloaika kohteessa Rautatientori on kello 13:56.
Figure 2: Example dialogue of multimodal route navigation. User: I want to go from Ooppera to ... here. MUMS: Tram 7B leaves from the Ooppera stop at 13:46, there are no changes. Arrival time at Railway Station Square is 13:56.
Vapaamuotoisen luonnollisen puheentunnistuksen haasteiden vuoksi keskustelevissa järjestelmissä on pyrittävä helpottamaan käyttäjän puheen tunnistusta hyvin suunnitellulla vuorovaikutusmallilla (dialogimallilla). Vuorovaikutuksen päämääränä on keskustelijoiden välinen yhteisymmärrys. Tämän mallintamiseen kuuluu kaksi osaa: reitinmääritys (käyttäjä ja järjestelmä pyrkivät yhdessä määrittelemään reitin, joka on järjestelmän kannalta mahdollinen ja joka kelpaa käyttäjälle) sekä reitinopastus (järjestelmä opastaa käyttäjää edellä määritellyllä reitillä).
Myös erilaiset käyttäjäryhmät on pyritty ottamaan huomioon käyttämällä opastustasoja. Normaali opastustaso on suunniteltu rutinoituneille sovelluksen käyttäjille, jotka osaavat liikkua kaupunkiympäristössä kevyellä ohjeistuksella. Tarkka opastustaso taas soveltuu uusille käyttäjille, seutua tuntemattomille matkustajille, sekä esimerkiksi näkö- tai kuulovammaisille. Syötteenantoa ja opastusta voidaan edelleen monipuolistaa paikannuksella, kuten aiemmin on kuvattu.
Hankkeessa kehitetyistä puhesovelluksista löytyy lisätietoja alla esitetyistä tutkimusartikkeleista ja opinnäytetöistä. Lisäksi pysäkkiaikataulujärjestelmää voi kokeilla soittamalla numeroon (03) 3551 8560. Lisätietoja löytyy osoitteesta http://www.cs.uta.fi/hci/spi/pysakkimies/.
Markku Turunen, Topi Hurtig, Jaakko Hakulinen, Ari Virtanen and Sami Koskinen. Mobile Speech-based and Multimodal Public Transport Information Services. In Proceedings of MobileHCI 2006 Workshop on Speech in Mobile and Pervasive Environments, 2006.
Markku Turunen, Jaakko Hakulinen, Kari-Jouko Räihä, Esa-Pekka Salonen, Anssi Kainulainen and Perttu Prusi. An architecture and applications for speech-based accessibility systems. IBM Systems Journal, Vol. 44, No 3: 485-504, 2005.
Esa-Pekka Salonen, Markku Turunen, Jaakko Hakulinen, Leena Helin, Perttu Prusi and Anssi Kainulainen. Distributed Dialogue Management for Smart Terminal Devices. Proceedings of Interspeech 2005: 849-852.
Markku Turunen, Jaakko Hakulinen, Esa-Pekka Salonen, Anssi Kainulainen and Leena Helin. Spoken and Multimodal Bus Timetable Systems: Design, Development and Evaluation. Proceedings of 10th International Conference on Speech and Computer (SPECOM 2005): 389-392.
Topi Hurtig. Multimodaalisen informaation hyödyntäminen reitinopastusdialogeissa. Diplomityö. TKK sähkö- ja tietoliikennetekniikan osasto, 2005.
Topi Hurtig and Kristiina Jokinen. On Multimodal Route Navigation in PDAs. Proceedings of the 2nd Baltic Conference on Human Language Technologies, 2005: 261-266.
Tässä esitelty puhesovellusten tutkimus perustuu pitkäaikaiseen puheteknologian sekä ihmisen ja tietokoneen välisen vuorovaikuksen tutkimukseen. Kuvattu tutkimus on tehty Tekesin "Puheenkäsittelyn uudet menetelmät ja sovellukset" (PUMS) hankkeessa. Tutkimustyö on jatkoa aikaisemmille kotimaisille hankkeille mm. Tekesin USIX-ohjelmasta. Tämän artikkelin kirjoittajien taustaorganisaationa on Tampereen yliopisto, VTT ja Helsingin yliopisto. Hankkeeseen osallistuu lisäksi Turun yliopisto, Joensuun yliopisto, Teknillinen korkeakoulu ja Tampereen teknillinen yliopisto sekä suuri joukko kotimaisia alueen yrityksiä ja yhteisöjä.
PUMS-projektia koordinoi Turun yliopiston informaatioteknologian laitos. Projektin yhteyshenkilönä toimii Mikko Jalonen (mikko.jalonen@utu.fi, puh. 040-7157978). Projektin sovellusosuuden yhteyshenkilö on Markku Turunen (Markku.Turunen@cs.uta.fi, puh. 040-5339689) Tampereen yliopiston tietojenkäsittelytieteiden laitokselta.
In the project "New Methods and Applications of Speech Technology" speech-based interaction is studied from technology and human-computer interaction perspectives. The consortium includes most Finnish universities, research institutes and companies working in the area. The project is part of the FENIX - Interactive Computing technology programme of the National Technology Agency of Finland. In this article speech-based and multimodal applications for timetables and route navigation are presented.
The project studies local transportation services suitable for mobile devices and user groups such as visually impaired users. The functionality of the basic timetable system covers queries about timetables of single bus stops. The system is targeted for regular bus travelers: it provides stop specific timetables for each of the about 1200 bus stops in Tampere area. In addition to speech interface it offers a multimodal smartphone interface. The system has been publicly available since August 2003. Other applications in the project include a graphical point-and-click speech-interface for route navigation. In addition, GPS (Global Positioning System) information is used to make the dialogues more efficient.
User-centered research methods are used in the iterative development. For example, all calls to the publicly available timetable system are recorded for research purposes. In addition, various usability evaluations have been conducted to the system to make it more efficient and pleasant to use.
For more information, please see the research articles mentioned in section "Further reading". You can contact Mikko Jalonen (e-mail: mikko.jalonen@utu.fi, tel. +358 40 7157978) for general project information, or Markku Turunen (e-mail: Markku.Turunen@cs.uta.fi, tel. 040-5339689) for information on speech applications.