Digitoday

Valikko

Ohjelma setvii sanojen rakennuspalikat

Teknillisen korkeakoulun Informaatiotekniikan laboratoriossa on kehitetty menetelmä sekä tietokoneohjelma, joka oppii sille annetusta tekstiaineistosta automaattisesti analysoimaan sanojen todennäköisiä rakennuspalikoita.

Ohjelmaan ei ole koodattu minkään kielen kielioppia, vaan käytetty menetelmä on oppiva ja täysin tilastollinen, TKK kertoo. Maailman kielten runsaus tuottaa suuria ongelmia tietokoneohjelmien laatijoille, eivätkä internet-hakukoneet yleensä hallitse vaikkapa suomen kielen taivutusmuotoja, saati yhdyssanoja.

Esimerkiksi suomenkielisestä aineistoista Morfessor-ohjelma on oppinut, että suomen kielessä "ssa" on todennäköinen pääte, sillä se esiintyy yleisesti monissa sananmuodoissa ja pääasiallisesti sanan loppupäässä (esimerkiksi "Sisilia + ssa", "auto + ssa + han"). Kohdatessaan uuden sanan "Kaledoniassa" Morfessor-ohjelma osaa siksi päätellä, että kyse luultavasti on paloista "Kaledonia + ssa".

Valtaosalle maailman kielistä ei ole kehitetty edes kielitieteelliseen tietoon pohjautuvia tietokoneohjelmia. Erityisesti näille kielille tämä suoraan tekstistä rakenteita oppiva Morfessor-menetelmä voi olla käänteentekevä ratkaisu, TKK povaa.

Pontta puheentunnistukseen

Kun tietokoneohjelmalla yritetään tunnistaa puhetta, eli muuttaa koneen kuulema äänisignaali tekstiksi, puheentunnistimen on sisällettävä malli sanavalikoimasta, joka saattaa tulla esiin. Suomen kielen sanoilla on aivan liikaa taivutusmuotoja, jotta ne kaikki voitaisiin luetteloida puheentunnistimissa - esimerkiksi verbi voi esiintyä jopa 2000:ssa eri taivutusmuodossa.

Kaikkien sananmuotojen luettelo olisi lisäksi vanhentunut jo syntyessään; uusia erikoistermejä ja yhdyssanoja keksitään jatkuvasti, ja yhä uudet vieraskieliset nimet nousevat puheenaiheiksi.

Morfessor-ohjelmalla on jatkuvan suomenkielisen puheen tunnistuksen virheiden määrä saatu putoamaan lähes puoleen verrattuna sanapohjaiseen perusmenetelmään.

Lisäksi uutispuhetta tunnistettaessa ohjelmalla on saatu parempia tuloksia kuin kielitieteellistä tietoa käyttävällä käsin ohjelmoidulla menetelmällä. Tämä parannus johtunee siitä, että lingvistisen menetelmän koodaaja ei ole tullut ohjelmoineeksi sinne puheaineistossa esiin tulleita sanoja eri taivutusmuotoineen.

Raparperi ei taivu Googlen suussa

Jos etsii Googlesta reseptiä sanalla "raparperipiirakkaresepti", ei löydä dokumentteja, joissa onkin "raparperipiirakan resepti" tai "löysin hyvän raparperipiirakkareseptin", TKK havainnollistaa hakukoneiden puutteita.

Automaattisen puheentunnistuksen ja internet-hakukoneiden lisäksi Morfessor-menetelmää voi soveltaa tietokoneavusteiseen tai täysin automaattiseen kielen kääntämiseen sekä kielen oppimisen apuvälineissä.

Ohjelmaa on toistaiseksi sovellettu menestyksekkäästi suomen, englannin ja turkin kieliin ja sen ensimmäinen versio on nyt vapaasti saatavilla internetistä. Lisäksi ohjelmaa voi kokeilla verkossa mielivaltaisilla suomen ja englannin sanoilla.

Kommentit

    Näytä lisää

    Näitä luetaan!

    1. 1

      Kirkkoherra järkyttyi Haapaveden kaksoissurmasta – ”Olemmeko pitäneet riittävästi huolta vanhuksistamme”

    2. 2

      Santeri, 20, ja Sofia, 19, myivät koko omaisuutensa ja lähtivät maailmalle: ”Haluan nähdä kaiken”

    3. 3

      Perhe etsii vastausta kammottavaan kuvaan – mitä tai mikä ilmestyi yhtäkkiä yöllä kotipihalla otettuun valokuvaan?

    4. 4

      Näin Finnairin lentäjät pysyvät hereillä pitkillä lennoilla

    5. 5

      Pin up -malli Sini Ariell astui vaa’alle – numerot ”shokeeraavia”: ”Olen ollut tyhmä, sokea ja tekopyhä”

    6. 6

      Nämä 8 miestä omistavat enemmän kuin ihmiskunnan köyhempi puolikas yhteensä

    7. 7

      Serena Williams, 35, riisui alusvaatekuviin – uskomattoman lihaksikas vartalo!

    8. 8

      Huomaatko piilossa olevan ihmishahmon 1880-luvun kuvassa? Vanha mysteeri hämmentää

    9. 9

      Valtteri Bottas ensimmäisessä haastattelussa Mercedeksen kuskina – tunnusti heti kylmän tosiasian

    10. 10

      Näin Shirly Karvinen edustaa Suomea Miss Universum -kisassa – lipui kameroiden eteen seksikkäästi läpikuultavassa asussa

    11. Näytä lisää
    1. 1

      Kolme povekasta blondia: Natalie, 45, sekoitetaan jatkuvasti tyttäriinsä – erotatko kuvista kuka on äiti?

    2. 2

      Venäläisen sarjamurhaajan karmiva tarina: mahdollisesti kaikkien aikojen kolmanneksi raa'in henkirikossarja

    3. 3

      Huomaatko piilossa olevan ihmishahmon 1880-luvun kuvassa? Vanha mysteeri hämmentää

    4. 4

      Amerikkalaiset opettelevat arktista sodankäyntiä Jääkäriprikaatissa – vaikeuksia suomalaisten perustaidossa

    5. 5

      Polttoainefirma repäisee upouudella mallilla: Tankkaa autoasi puolitoista vuotta kiinteällä kk-hinnalla

    6. 6

      Pin up -malli Sini Ariell astui vaa’alle – numerot ”shokeeraavia”: ”Olen ollut tyhmä, sokea ja tekopyhä”

    7. 7

      ”Täysin luomusta” Antjesta, 22, tuli Instagram-tähti – pyrkii kurvikkailla kuvillaan Hollywoodiin

    8. 8

      Suosikkikohteeseen laskeutuminen vaatii kapteenilta erityiskoulutuksen – 5 hurjaa kiitotietä

    9. 9

      Manuela Bosco julkaisi harvinaisia yhteiskuvia perheestään – tyttären villi kampaus varastaa huomion

    10. 10

      Olli Rehnillä riita myymästään asunnosta oikeudessa – kuka maksaa 12 000 euron ikkunaremontin?

    11. Näytä lisää
    1. 1

      Teri Niitti, 43, on kuollut

    2. 2

      Madonna julkaisi haarovälikuvan – Piers Morgan: ”Oksensin aamupalani”

    3. 3

      Poliisi ampui miehen maaliskuussa – vainajan autosta löytyi kolkko kirje

    4. 4

      Valesotilas yritti huijata – Tiina vedättikin takaisin: ”Naurettiin ukkoni kanssa niin, että mahaan koski”

    5. 5

      Häikäisevän kaunis morsian! Mika Häkkinen ja Marketa pääsivät poroajelun kyytiin – suloiset lapset mukana

    6. 6

      Huikea muutos: Playboy-mallin kasvoilta pestiin tv-ohjelmassa vahva meikkikerros – tyrmistyi lopputuloksesta

    7. 7

      Mikan ja Marketan rakkaustarina – saksalaislehti paljasti kaunottaren menneisyyden

    8. 8

      Arto, 35, joutui väkisin mukaan perustulo­kokeiluun: ”Älyttömän huonot tunnelmat ”

    9. 9

      Masennuksen huonosti tunnettu alatyyppi nakertaa vaivihkaa – onko sinulla kolme näistä oireista?

    10. 10

      Teri Niitti antoi syksyllä riipaisevan haastattelun Suomipopille – kertasi raskasta vuottaan: ”Mulle riittää, että olen pyytänyt anteeksi”

    11. Näytä lisää

    Näitä luetaan!

    1. 1

      Kirkkoherra järkyttyi Haapaveden kaksoissurmasta – ”Olemmeko pitäneet riittävästi huolta vanhuksistamme”

    2. 2

      Santeri, 20, ja Sofia, 19, myivät koko omaisuutensa ja lähtivät maailmalle: ”Haluan nähdä kaiken”

    3. 3

      Perhe etsii vastausta kammottavaan kuvaan – mitä tai mikä ilmestyi yhtäkkiä yöllä kotipihalla otettuun valokuvaan?

    4. 4

      Näin Finnairin lentäjät pysyvät hereillä pitkillä lennoilla

    5. 5

      Pin up -malli Sini Ariell astui vaa’alle – numerot ”shokeeraavia”: ”Olen ollut tyhmä, sokea ja tekopyhä”

    6. Näytä lisää
    1. 1

      Kolme povekasta blondia: Natalie, 45, sekoitetaan jatkuvasti tyttäriinsä – erotatko kuvista kuka on äiti?

    2. 2

      Venäläisen sarjamurhaajan karmiva tarina: mahdollisesti kaikkien aikojen kolmanneksi raa'in henkirikossarja

    3. 3

      Huomaatko piilossa olevan ihmishahmon 1880-luvun kuvassa? Vanha mysteeri hämmentää

    4. 4

      Amerikkalaiset opettelevat arktista sodankäyntiä Jääkäriprikaatissa – vaikeuksia suomalaisten perustaidossa

    5. 5

      Polttoainefirma repäisee upouudella mallilla: Tankkaa autoasi puolitoista vuotta kiinteällä kk-hinnalla

    6. Näytä lisää
    1. 1

      Teri Niitti, 43, on kuollut

    2. 2

      Madonna julkaisi haarovälikuvan – Piers Morgan: ”Oksensin aamupalani”

    3. 3

      Poliisi ampui miehen maaliskuussa – vainajan autosta löytyi kolkko kirje

    4. 4

      Valesotilas yritti huijata – Tiina vedättikin takaisin: ”Naurettiin ukkoni kanssa niin, että mahaan koski”

    5. 5

      Häikäisevän kaunis morsian! Mika Häkkinen ja Marketa pääsivät poroajelun kyytiin – suloiset lapset mukana

    6. Näytä lisää