Digitoday

Valikko

Ohjelma setvii sanojen rakennuspalikat

Teknillisen korkeakoulun Informaatiotekniikan laboratoriossa on kehitetty menetelmä sekä tietokoneohjelma, joka oppii sille annetusta tekstiaineistosta automaattisesti analysoimaan sanojen todennäköisiä rakennuspalikoita.

Ohjelmaan ei ole koodattu minkään kielen kielioppia, vaan käytetty menetelmä on oppiva ja täysin tilastollinen, TKK kertoo. Maailman kielten runsaus tuottaa suuria ongelmia tietokoneohjelmien laatijoille, eivätkä internet-hakukoneet yleensä hallitse vaikkapa suomen kielen taivutusmuotoja, saati yhdyssanoja.

Esimerkiksi suomenkielisestä aineistoista Morfessor-ohjelma on oppinut, että suomen kielessä "ssa" on todennäköinen pääte, sillä se esiintyy yleisesti monissa sananmuodoissa ja pääasiallisesti sanan loppupäässä (esimerkiksi "Sisilia + ssa", "auto + ssa + han"). Kohdatessaan uuden sanan "Kaledoniassa" Morfessor-ohjelma osaa siksi päätellä, että kyse luultavasti on paloista "Kaledonia + ssa".

Valtaosalle maailman kielistä ei ole kehitetty edes kielitieteelliseen tietoon pohjautuvia tietokoneohjelmia. Erityisesti näille kielille tämä suoraan tekstistä rakenteita oppiva Morfessor-menetelmä voi olla käänteentekevä ratkaisu, TKK povaa.

Pontta puheentunnistukseen

Kun tietokoneohjelmalla yritetään tunnistaa puhetta, eli muuttaa koneen kuulema äänisignaali tekstiksi, puheentunnistimen on sisällettävä malli sanavalikoimasta, joka saattaa tulla esiin. Suomen kielen sanoilla on aivan liikaa taivutusmuotoja, jotta ne kaikki voitaisiin luetteloida puheentunnistimissa - esimerkiksi verbi voi esiintyä jopa 2000:ssa eri taivutusmuodossa.

Kaikkien sananmuotojen luettelo olisi lisäksi vanhentunut jo syntyessään; uusia erikoistermejä ja yhdyssanoja keksitään jatkuvasti, ja yhä uudet vieraskieliset nimet nousevat puheenaiheiksi.

Morfessor-ohjelmalla on jatkuvan suomenkielisen puheen tunnistuksen virheiden määrä saatu putoamaan lähes puoleen verrattuna sanapohjaiseen perusmenetelmään.

Lisäksi uutispuhetta tunnistettaessa ohjelmalla on saatu parempia tuloksia kuin kielitieteellistä tietoa käyttävällä käsin ohjelmoidulla menetelmällä. Tämä parannus johtunee siitä, että lingvistisen menetelmän koodaaja ei ole tullut ohjelmoineeksi sinne puheaineistossa esiin tulleita sanoja eri taivutusmuotoineen.

Raparperi ei taivu Googlen suussa

Jos etsii Googlesta reseptiä sanalla "raparperipiirakkaresepti", ei löydä dokumentteja, joissa onkin "raparperipiirakan resepti" tai "löysin hyvän raparperipiirakkareseptin", TKK havainnollistaa hakukoneiden puutteita.

Automaattisen puheentunnistuksen ja internet-hakukoneiden lisäksi Morfessor-menetelmää voi soveltaa tietokoneavusteiseen tai täysin automaattiseen kielen kääntämiseen sekä kielen oppimisen apuvälineissä.

Ohjelmaa on toistaiseksi sovellettu menestyksekkäästi suomen, englannin ja turkin kieliin ja sen ensimmäinen versio on nyt vapaasti saatavilla internetistä. Lisäksi ohjelmaa voi kokeilla verkossa mielivaltaisilla suomen ja englannin sanoilla.

Kommentit

    Näytä lisää

    Näitä luetaan!

    1. 1

      Katso kuva Jenni Haukion elegantista silkkipuvusta – juhlavasti violetissa

    2. 2

      Jonna Tervomaan nännikohu ja Ilkka Kanervan taintuminen – Linnan juhlien 5 erikoisinta hetkeä vuosien varrelta

    3. 3

      Ensimmäiset vieraat saapuivat Linnan juhliin – sotaveteraani Osman, 95: ”Täytyyhän nyt daami olla mukana”

    4. 4

      Oaklandin tulipalossa kuolleen suomalaisen Hannan isä: ”Suru on ihan järjetön”

    5. 5

      Kansanedustaja Tytti Tuppuraista, 40, ei ole tunnistaa – astelee Linnaan tyrmäävänä tiukassa punaisessa mekossa

    6. 6

      Kuvat ja video rajusta välikohtauksesta: Vastarintaliikkeen mielenosoittajaa lyötiin – poliisi taltutti hyökkääjän

    7. 7

      Suora lähetys juuri nyt – IS seuraa Linnan juhlia hetki hetkeltä: Nooralotta Nezirillä lähes 90 000 euron korut

    8. 8

      Pelaa Suomi-visaa: Vain suomalainen tietää vastauksen näihin 40 kysymykseen

    9. 9

      Simon Cowell tukee Saara Aaltoa: ”Ulkomaalaisen voitto osoittaisi, että show ja yleisö ovat suvaitsevaisia”

    10. 10

      Soihtukulkue lähti liikkeelle Töölöntorilta – IS seuraa hetki hetkeltä

    11. Näytä lisää
    1. 1

      Neljä jättihittiä! Tällainen oli Saara Aallon Senaatintorin show – vitsaili Suomen kylmästä säästä

    2. 2

      Thaimaan-lento yli 21 tuntia myöhässä – Huhut liikkuvat hermostuneiden matkustajien kesken

    3. 3

      Muistatko nämä? Linnan juhlien ikimuistoisimmat tyylit vuodesta 1960

    4. 4

      Saara Aalto esiintyy Senaatintorilla

    5. 5

      Salainen sähköposti Johaugista paljastui: Norjan hiihtoliiton työntekijät käskettiin hiljaiseksi

    6. 6

      Cheryl, 3, siepattiin uimarannalta 46 vuotta sitten – Australian poliisi uskoo tehneensä merkittävän läpimurron tapauksen tutkinnassa

    7. 7

      Brittimedia hehkuttaa Saara Aallon Helsingin-keikkaa: ”Eeppinen kotiinpaluu!”

    8. 8

      Juuso-karhun isäntä Sulo, 75, sai kutsun Linnan juhliin – näin hän kertoi asiasta karhulle

    9. 9

      Erja-vaimon reaktio Toni Vilanderin Ferrarin kyydissä on näkemisen arvoinen – ”Tän jälkeen sä et aja enää yhtään kisaa!”

    10. 10

      Kansanedustaja Sanna Marin, 31, astelee tyrmäävänä Linnaan – esittelee iltapukunsa upeissa kuvissa

    11. Näytä lisää
    1. 1

      Poliisi IS:lle: Tällainen tausta Imatran epäillyllä 23-vuotiaalla kolmoismurhaajalla on

    2. 2

      WhatsApp katoaa miljoonista puhelimista – katso, onko omasi listalla

    3. 3

      7 yleisen syövän varhaiset varoitusmerkit – tunnista ajoissa

    4. 4

      Raakel Lignellin raju painonpudotus ja tiukka ruokavalio johtivat pysyviin terveysongelmiin: ”Riistäytyi vähän käsistä”

    5. 5

      Tuulenvire paljasti Donald Trumpin omituisen ”asumokan” – netti sekosi lentokentältä napatusta kuvasta

    6. 6

      Perhesyyt eivät painaneet? Mika Salolla teoria Nico Rosbergin lopettamisesta: ”Kukaan ei tajua sitä…”

    7. 7

      Todelliset syyt, joiden vuoksi naiset voihkivat seksin aikana

    8. 8

      Nainen teki ”pettämistestin” poikaystävälleen – lopputulos ei ilahduttanut, videolla jo 6 miljoonaa katselukertaa

    9. 9

      Aleksi Valavuori julkaisi matkakuvan Los Angelesista: maisemaotos paljastuikin Ikean sisustustauluksi – some repesi

    10. 10

      Eija, 32, huomasi vauvansa olevan erilainen – elämä muuttui pikkuhiljaa painajaiseksi

    11. Näytä lisää

    Näitä luetaan!

    1. 1

      Katso kuva Jenni Haukion elegantista silkkipuvusta – juhlavasti violetissa

    2. 2

      Jonna Tervomaan nännikohu ja Ilkka Kanervan taintuminen – Linnan juhlien 5 erikoisinta hetkeä vuosien varrelta

    3. 3

      Ensimmäiset vieraat saapuivat Linnan juhliin – sotaveteraani Osman, 95: ”Täytyyhän nyt daami olla mukana”

    4. 4

      Oaklandin tulipalossa kuolleen suomalaisen Hannan isä: ”Suru on ihan järjetön”

    5. 5

      Kansanedustaja Tytti Tuppuraista, 40, ei ole tunnistaa – astelee Linnaan tyrmäävänä tiukassa punaisessa mekossa

    6. Näytä lisää
    1. 1

      Neljä jättihittiä! Tällainen oli Saara Aallon Senaatintorin show – vitsaili Suomen kylmästä säästä

    2. 2

      Thaimaan-lento yli 21 tuntia myöhässä – Huhut liikkuvat hermostuneiden matkustajien kesken

    3. 3

      Muistatko nämä? Linnan juhlien ikimuistoisimmat tyylit vuodesta 1960

    4. 4

      Saara Aalto esiintyy Senaatintorilla

    5. 5

      Salainen sähköposti Johaugista paljastui: Norjan hiihtoliiton työntekijät käskettiin hiljaiseksi

    6. Näytä lisää
    1. 1

      Poliisi IS:lle: Tällainen tausta Imatran epäillyllä 23-vuotiaalla kolmoismurhaajalla on

    2. 2

      WhatsApp katoaa miljoonista puhelimista – katso, onko omasi listalla

    3. 3

      7 yleisen syövän varhaiset varoitusmerkit – tunnista ajoissa

    4. 4

      Raakel Lignellin raju painonpudotus ja tiukka ruokavalio johtivat pysyviin terveysongelmiin: ”Riistäytyi vähän käsistä”

    5. 5

      Tuulenvire paljasti Donald Trumpin omituisen ”asumokan” – netti sekosi lentokentältä napatusta kuvasta

    6. Näytä lisää