Digitoday

Valikko

Ohjelma setvii sanojen rakennuspalikat

Teknillisen korkeakoulun Informaatiotekniikan laboratoriossa on kehitetty menetelmä sekä tietokoneohjelma, joka oppii sille annetusta tekstiaineistosta automaattisesti analysoimaan sanojen todennäköisiä rakennuspalikoita.

Ohjelmaan ei ole koodattu minkään kielen kielioppia, vaan käytetty menetelmä on oppiva ja täysin tilastollinen, TKK kertoo. Maailman kielten runsaus tuottaa suuria ongelmia tietokoneohjelmien laatijoille, eivätkä internet-hakukoneet yleensä hallitse vaikkapa suomen kielen taivutusmuotoja, saati yhdyssanoja.

Esimerkiksi suomenkielisestä aineistoista Morfessor-ohjelma on oppinut, että suomen kielessä "ssa" on todennäköinen pääte, sillä se esiintyy yleisesti monissa sananmuodoissa ja pääasiallisesti sanan loppupäässä (esimerkiksi "Sisilia + ssa", "auto + ssa + han"). Kohdatessaan uuden sanan "Kaledoniassa" Morfessor-ohjelma osaa siksi päätellä, että kyse luultavasti on paloista "Kaledonia + ssa".

Valtaosalle maailman kielistä ei ole kehitetty edes kielitieteelliseen tietoon pohjautuvia tietokoneohjelmia. Erityisesti näille kielille tämä suoraan tekstistä rakenteita oppiva Morfessor-menetelmä voi olla käänteentekevä ratkaisu, TKK povaa.

Pontta puheentunnistukseen

Kun tietokoneohjelmalla yritetään tunnistaa puhetta, eli muuttaa koneen kuulema äänisignaali tekstiksi, puheentunnistimen on sisällettävä malli sanavalikoimasta, joka saattaa tulla esiin. Suomen kielen sanoilla on aivan liikaa taivutusmuotoja, jotta ne kaikki voitaisiin luetteloida puheentunnistimissa - esimerkiksi verbi voi esiintyä jopa 2000:ssa eri taivutusmuodossa.

Kaikkien sananmuotojen luettelo olisi lisäksi vanhentunut jo syntyessään; uusia erikoistermejä ja yhdyssanoja keksitään jatkuvasti, ja yhä uudet vieraskieliset nimet nousevat puheenaiheiksi.

Morfessor-ohjelmalla on jatkuvan suomenkielisen puheen tunnistuksen virheiden määrä saatu putoamaan lähes puoleen verrattuna sanapohjaiseen perusmenetelmään.

Lisäksi uutispuhetta tunnistettaessa ohjelmalla on saatu parempia tuloksia kuin kielitieteellistä tietoa käyttävällä käsin ohjelmoidulla menetelmällä. Tämä parannus johtunee siitä, että lingvistisen menetelmän koodaaja ei ole tullut ohjelmoineeksi sinne puheaineistossa esiin tulleita sanoja eri taivutusmuotoineen.

Raparperi ei taivu Googlen suussa

Jos etsii Googlesta reseptiä sanalla "raparperipiirakkaresepti", ei löydä dokumentteja, joissa onkin "raparperipiirakan resepti" tai "löysin hyvän raparperipiirakkareseptin", TKK havainnollistaa hakukoneiden puutteita.

Automaattisen puheentunnistuksen ja internet-hakukoneiden lisäksi Morfessor-menetelmää voi soveltaa tietokoneavusteiseen tai täysin automaattiseen kielen kääntämiseen sekä kielen oppimisen apuvälineissä.

Ohjelmaa on toistaiseksi sovellettu menestyksekkäästi suomen, englannin ja turkin kieliin ja sen ensimmäinen versio on nyt vapaasti saatavilla internetistä. Lisäksi ohjelmaa voi kokeilla verkossa mielivaltaisilla suomen ja englannin sanoilla.

Kommentit

    Näytä lisää

    Näitä luetaan!

    1. 1

      Tv-katsojat hieraisivat silmiään: Anssi Kela näkyi neljällä kanavalla yhtä aikaa – ”Onko tässä enää mitään tolkkua”

    2. 2

      Se hetki, kun Ryan Gosling tajuaa virheen – näyttelijältä verraton reaktio Oscar-sekoiluun

    3. 3

      Diabetes on hiipivä sairaus – tunnista 20 kavalaa merkkiä

    4. 4

      Joillakin uni tulee minuuteissa – näillä vinkeillä olet yksi heistä

    5. 5

      Näin Suomi kikyttää – eri alojen työntekijät kertovat, kuinka kiky-tunnit käytetään: ”Käymällä vessassa ajan kanssa tai keittämällä kahvit”

    6. 6

      Jokerien kausi päättyi jo helmikuussa – "En haluaisi edes miettiä tuollaisia"

    7. 7

      Menettikö Suomi varman mitalin sunnuntaina? Krista Pärmäkoskelta napakka vastaus

    8. 8

      Ex-natsi Holapan ehdokkuus vihreiden listalla sytytti sanasodan – ”Minä en lähtisi kyseenalaistamaan”

    9. 9

      Kommentti: Kolmessa vuodessa Jokereilta katosi sielu – jäljellä ovat enää fanit

    10. 10

      ”Uimarenkaat omasta takaa” Katri Sorsan rehellinen kuva kertoo enemmän kuin tuhat sanaa

    11. Näytä lisää
    1. 1

      Sliipatun pukumiehen kodista paljastui mykistävä yllätys – toukat ryömivät isännöitsijää vastaan

    2. 2

      ”Uimarenkaat omasta takaa” Katri Sorsan rehellinen kuva kertoo enemmän kuin tuhat sanaa

    3. 3

      Petter Northugin viesti tv-kameran edessä Emil Iversenille: ”Hyvä, että kaadoit myös suomalaisen”

    4. 4

      Norjalaiset raivostuivat Emil Iversenin nöyryyttämisestä suorassa lähetyksessä

    5. 5

      Helsinkiläismies eli niin kuin naistenlehdissä kehotettiin – tässä kuvassa hän lataa kotona akkuja

    6. 6

      Diabetes on hiipivä sairaus – tunnista 20 kavalaa merkkiä

    7. 7

      Skandaali Oscareissa! Väärä elokuva julistettiin voittajaksi – paras elokuva olikin Moonlight

    8. 8

      Aino-Kaisa Saarinen kertoo hetkestä, jolloin hänen unelmansa romahti: ”Vastauksena oli hiljaisuus”

    9. 9

      Nokian murhaepäily: 17-vuotiaan tytön kuolinsyy selvisi

    10. 10

      Mieti ennen kuin ostat: Uudesta Nokia 3310 -puhelimesta paljastui paha puute

    11. Näytä lisää
    1. 1

      Julkkiksilta sataa tukea rumaksi haukutulle Maria Veitolalle – Rakel Liekiltä tyhjentävä kommentti

    2. 2

      Helsinkiläinen Nina, 44, avautuu isäpuolen järkyttävistä teoista: ”Äiti katseli vierestä, mutta ei koskaan puuttunut”

    3. 3

      Kummisetä antoi 10-vuotiaalle tyttärelle lahjarahaa – Kela rokotti koko perheeltä 341,52 euroa/kk

    4. 4

      Traaginen onnettomuus Helsingissä – työkoneen kauha osui kävelijään, nainen kuoli vammoihinsa

    5. 5

      Marika saa Espanjassa pitkiä katseita – suomalaiset nimet, jotka eivät toimi ulkomailla

    6. 6

      Tarkista ja kuuntele: Mikä oli Suomen listaykkösenä, kun sinä synnyit?

    7. 7

      Yleinen virhe wc-pöntöllä: Tästä syystä pyttyyn jää helposti ”jarrutusjäljet”

    8. 8

      4 eri mitoilla varustettua miestä avautuu seksielämästään: ”Teen parhaani sillä, mitä minulla on”

    9. 9

      Anu Saagim haukkui Maria Veitolaa rumaksi suorassa lähetyksessä – Veitola harmistui studioyleisön reaktiosta: ”Yleisö nauraa ja taputtaa”

    10. 10

      Katri Sorsalta kuitti Anu Saagimille: ”Eestissä nainen näyttää herättyään tältä, meillä Suomessa tältä...”

    11. Näytä lisää

    Näitä luetaan!

    1. 1

      Tv-katsojat hieraisivat silmiään: Anssi Kela näkyi neljällä kanavalla yhtä aikaa – ”Onko tässä enää mitään tolkkua”

    2. 2

      Se hetki, kun Ryan Gosling tajuaa virheen – näyttelijältä verraton reaktio Oscar-sekoiluun

    3. 3

      Diabetes on hiipivä sairaus – tunnista 20 kavalaa merkkiä

    4. 4

      Joillakin uni tulee minuuteissa – näillä vinkeillä olet yksi heistä

    5. 5

      Näin Suomi kikyttää – eri alojen työntekijät kertovat, kuinka kiky-tunnit käytetään: ”Käymällä vessassa ajan kanssa tai keittämällä kahvit”

    6. Näytä lisää
    1. 1

      Sliipatun pukumiehen kodista paljastui mykistävä yllätys – toukat ryömivät isännöitsijää vastaan

    2. 2

      ”Uimarenkaat omasta takaa” Katri Sorsan rehellinen kuva kertoo enemmän kuin tuhat sanaa

    3. 3

      Petter Northugin viesti tv-kameran edessä Emil Iversenille: ”Hyvä, että kaadoit myös suomalaisen”

    4. 4

      Norjalaiset raivostuivat Emil Iversenin nöyryyttämisestä suorassa lähetyksessä

    5. 5

      Helsinkiläismies eli niin kuin naistenlehdissä kehotettiin – tässä kuvassa hän lataa kotona akkuja

    6. Näytä lisää
    1. 1

      Julkkiksilta sataa tukea rumaksi haukutulle Maria Veitolalle – Rakel Liekiltä tyhjentävä kommentti

    2. 2

      Helsinkiläinen Nina, 44, avautuu isäpuolen järkyttävistä teoista: ”Äiti katseli vierestä, mutta ei koskaan puuttunut”

    3. 3

      Kummisetä antoi 10-vuotiaalle tyttärelle lahjarahaa – Kela rokotti koko perheeltä 341,52 euroa/kk

    4. 4

      Traaginen onnettomuus Helsingissä – työkoneen kauha osui kävelijään, nainen kuoli vammoihinsa

    5. 5

      Marika saa Espanjassa pitkiä katseita – suomalaiset nimet, jotka eivät toimi ulkomailla

    6. Näytä lisää