Digitoday

Valikko

Tutkija kehitti työkalun uutisten seurantaan

Perjantaina väittelevä Juha Makkonen on kehittänyt menetelmiä uusien uutistapahtumien havaitsemiseen ja aiemmin havaittujen tapahtumien seuraamiseen. Google News voi olla nopea, mutta onko se tarpeeksi tarkka?


Terveyden ja hyvinvoinnin laitoksessa työskentelevä filosofian maisteri Juha Makkonen esittää semanttisia luokkia, joihin sanat ryhmitellään merkitystensä mukaan samankaltaisten sanojen joukoiksi. Luokkia ovat esimerkiksi yleiset sanat sekä organisaatiot, henkilöt ja paikanilmaukset. Tekstistä tunnistetaan myös ajanilmaukset.

Tuloksena käytännön uutishaku voisi esimerkiksi erottaa toisistaan kaksi eri lento-onnettomuusuutista, jotka ovat samanlaisia yleisten sanojen kannalta, mutta erilaisia paikkojen ja ajanilmausten suhteen, Helsingin yliopisto hahmottaa.

Tarkkuutta nopeuden
kustannuksella


Automaattinen uutistapahtumien seuranta on tietojenkäsittelytieteen ja siinä tiedonhaun piiriin kuuluva tutkimusalue, jossa kehitetään menetelmiä digitaalisen uutisvirran hallintaan.

Uutisvirta koostuu useista, mahdollisesti erikielisistä uutislähteistä, joissa voi olla digitaalisia online-uutisia ja radio- sekä televisiouutisia.

Perinteiset tiedonhakumenetelmät, jotka ovat internet-tiedonhakujärjestelmien perustana, vertailevat tekstidokumentteja joukkoina sanoja ja käsittelevät sanoja merkkijonoina nopeasti. Erityisen vaikeaa on ollut tunnistaa kaksi samantyyppistä uutistapahtumaa, Makkonen taustoittaa.

Väitöskirjan nimi on Semantic Classes in Topic Detection and Tracking (Semanttisten luokkien soveltaminen automaattisessa uutisseurannassa).

Se mitä Makkosen keinoin hävittäisiin nopeudessa, voitettaisiin tarkkuudessa. Kielellinen analyysi hidastaa toimintaa jonkun verran, mutta väittelijän mukaan sitä voitaisiin tarvittaessa kompensoida laittamalla rautaa riviin.

Tuntuva
parannus


Oma kysymyksensä tosin on, missä määrin Google tai esimerkiksi Yahoo jo käyttävät tämäntyyppisiä semanttisia menetelmiä omissa uutispalveluissaan.

Makkonen kuitenkin veikkaa, että kovin syvälliseen sisältöanalyysiin ei suurissa uutispalveluissa vielä mentäne, koska käsiteltävän aineiston määrä on niin mittava. Jos dataa tulee sisään nopeammin kuin sitä pystytään käsittelemään, palvelut jäisivät koko ajan jälkeen, Makkonen miettii.

Juha Makkosen uusilla menetelmillä erot olivat etenkin olemassa olevien uutisten seurannassa tilastollisesti merkittäviä, ja keinot paransivat tuntuvasti uutistapahtumien seurannan tarkkuutta verrattuna perinteiseen lähestymistapaan.

Uusien tapahtumien tunnistamista menetelmä paransi vähemmän. Tämä alue pysyy edelleen vaikeana ongelmana yksinkertaisesti siitä syystä, että uusia tapahtumia pitää verrata kaikkeen vanhaan. Silloin vertailuaineisto on sanalla sanoen valtava.

Kommentit

    Näytä lisää

    Näitä luetaan!

    1. 1

      He ovat uudet Vain elämää -tähdet! Mukana Robin, Irina ja Olli Lindholm

    2. 2

      Kaikki irti Whatsappista! Tiesitkö jo nämä 9 kätevää kikkaa?

    3. 3

      Italian koulubussiturman sankariopettaja pelasti useita palavasta bussista – omat lapset kuolivat

    4. 4

      Toyota maksaa Tommi Mäkisen lystin

    5. 5

      Skandaali Hamburger Börsin tanssilattialla: Mies virtsasi naisen jaloille, nainen löi tuopilla

    6. 6

      Peilijää yllätti hevosen Pedersöressä – sinne jäi

    7. 7

      Vain elämää -artistivalinta nostatti ihmettelyvyöryn – sarjan fanit tylyttävät: ”Todella väsynyttä”

    8. 8

      Kiistely ”kateusverosta” jatkui – ”Vasen käsi ei tiedä mitä oikea tekee”

    9. 9

      Ei herkkohermoisille: Tältä näyttää työuupumus sairaalassa

    10. 10

      Puna-armeijan tankit vyöryivät kohti – Veikko Määttänen koki talvisodan tulikasteen omassa kotipitäjässään: ”Se on outo tunne, kun ne rupeavat ampumaan”

    11. Näytä lisää
    1. 1

      Ei herkkohermoisille: Tältä näyttää työuupumus sairaalassa

    2. 2

      Valtava maanjäristys Tyynellämerellä – jopa 8,0 Richterin asteikolla

    3. 3

      Niinan, 38, maatilaa on vainottu jo kolme vuotta: hevosta ajettiin autolla takaa – koko karja menee teuraaksi

    4. 4

      Seitsemän salaperäistä prinsessaa: Tässä ovat parrasvaloja vältelleet kruunupäät –Mukana Kauniit ja rohkeat -tähti ja ”maailman kaunein”

    5. 5

      Anna: Viime viikolla erostaan ilmoittanut Rosa Meriläinen seurustelee kirjailijan kanssa

    6. 6

      Minka Kuustonen loisti seksikkäänä rouva Trumpina – sketsiohjelma tarttui myös ajankohtaisiin aiheisiin

    7. 7

      Jatkosodan kenttäsairaaloiden kauhukuvat eivät unohdu – Sotamaa leikkasi yötä päivää Pervitinin voimalla

    8. 8

      Rahtilaiva upposi suomalaiskapteenin silmien edessä: aloitti vaativan pelastusoperaation – varustamon toimitusjohtaja: ”Valtavan hieno uroteko”

    9. 9

      Täällä sarjahukuttaja napattiin – silminnäkijä kertoo kiinniotosta: ”Isokokoinen kaveri nousi ulos”

    10. 10

      Obama jätti viime hetkellä Trumpin pöydälle kirjeen – näin aiempien presidenttien viesteissä luki: Älä anna kalkkunoiden lannistaa

    11. Näytä lisää
    1. 1

      Juo aamulla vettä tyhjään vatsaan – 8 mahtavaa vaikutusta

    2. 2

      Mikan ja Marketan rakkaustarina – saksalaislehti paljasti kaunottaren menneisyyden

    3. 3

      Perhe etsii vastausta kammottavaan kuvaan – mitä tai mikä ilmestyi yhtäkkiä yöllä kotipihalla otettuun valokuvaan?

    4. 4

      Serbian seksikkäin laulaja Milica, 25, purskahti korsetistaan ulos kesken keikan – yleisö villiintyi

    5. 5

      Nainen synnytti salaa vessassa – raskaudesta tietämättömät vanhemmat havahtuivat pamaukseen

    6. 6

      Kolme povekasta blondia: Natalie, 45, sekoitetaan jatkuvasti tyttäriinsä – erotatko kuvista kuka on äiti?

    7. 7

      Uimapukumalli Chrissy Teigen jakoi rehellisen kuvan reisistään – miehet hämmentyivät: ”Olen katsonut tätä jo minuutin, ja...”

    8. 8

      Yksi kuoli rekan pudottua moottoritieltä Lohjalla – erikoinen tapahtumaketju johti karmeaan turmaan

    9. 9

      Sarjahukuttaja oli palkittu karjatilallinen – sitten tapahtui jotakin

    10. 10

      Dramaattiset kuvat: Myrskypuuska romahdutti rakenteilla olleen, yli 100-neliöisen talon maan tasalle Kuopiossa

    11. Näytä lisää

    Näitä luetaan!

    1. 1

      He ovat uudet Vain elämää -tähdet! Mukana Robin, Irina ja Olli Lindholm

    2. 2

      Kaikki irti Whatsappista! Tiesitkö jo nämä 9 kätevää kikkaa?

    3. 3

      Italian koulubussiturman sankariopettaja pelasti useita palavasta bussista – omat lapset kuolivat

    4. 4

      Toyota maksaa Tommi Mäkisen lystin

    5. 5

      Skandaali Hamburger Börsin tanssilattialla: Mies virtsasi naisen jaloille, nainen löi tuopilla

    6. Näytä lisää
    1. 1

      Ei herkkohermoisille: Tältä näyttää työuupumus sairaalassa

    2. 2

      Valtava maanjäristys Tyynellämerellä – jopa 8,0 Richterin asteikolla

    3. 3

      Niinan, 38, maatilaa on vainottu jo kolme vuotta: hevosta ajettiin autolla takaa – koko karja menee teuraaksi

    4. 4

      Seitsemän salaperäistä prinsessaa: Tässä ovat parrasvaloja vältelleet kruunupäät –Mukana Kauniit ja rohkeat -tähti ja ”maailman kaunein”

    5. 5

      Anna: Viime viikolla erostaan ilmoittanut Rosa Meriläinen seurustelee kirjailijan kanssa

    6. Näytä lisää
    1. 1

      Juo aamulla vettä tyhjään vatsaan – 8 mahtavaa vaikutusta

    2. 2

      Mikan ja Marketan rakkaustarina – saksalaislehti paljasti kaunottaren menneisyyden

    3. 3

      Perhe etsii vastausta kammottavaan kuvaan – mitä tai mikä ilmestyi yhtäkkiä yöllä kotipihalla otettuun valokuvaan?

    4. 4

      Serbian seksikkäin laulaja Milica, 25, purskahti korsetistaan ulos kesken keikan – yleisö villiintyi

    5. 5

      Nainen synnytti salaa vessassa – raskaudesta tietämättömät vanhemmat havahtuivat pamaukseen

    6. Näytä lisää