Mikä yhdistää sutta, lammasta ja A-klinikkaa? Ne näyttävät samalta, vaikka ei heti uskoisi.
Oulun yliopiston MediaTeam asetti näytteille viime marraskuussa avatussa Oulu Expo -näyttelyssä Tietomaassa kehittämänsä videoarkistoselaimen prototyypin. Järjestelmään on tallennettu 16 tuntia Yleisradion Pohjois-Suomen televisiouutisia viime kesältä. Arkistoon voi tehdä tekstihakuja, ja järjestelmä palauttaa uutisten kohtauksia, joissa kyseinen sana esiintyy puhuttuna tai kirjoitettuna.
Järjestelmä ei perustu metadataan eli esimerkiksi aineistoille annettujen asiasanojen käyttöön kuten esimerkiksi kirjastojen aineistotietokannoissa on tapana. Tässä tapauksessa MediaTeamillä on ollut käytössä Yleisradion antamat käsikirjoitukset, jotka sisältävät kaiken uutisten puheen. Tekijöiden urakaksi jäi yhdistää teksti ja puhe toisiinsa eli etsiä kirjoitetun sanan vastine puheesta.
Haun kohteet laskettu videon sisällöstä
Haku palauttaa pystyriville kaikki kohtaukset, joissa sana esiintyy. Lisäksi järjestelmä palauttaa vaakariville samannäköiset eli visuaalisesti toisiaan lähellä olevat kohtaukset. Haun kohteet on laskettu täysin videon sisällöstä, selvittää MediaTeamin Mika Rautiainen.
"Video on segmentoitu kohtauksiin tunnistamalla leikkausraidat. Niiden sisälle jäävä tieto on mallinnettu laskennallisesti. Sen jälkeen näistä laskennallisista määritelmistä voidaan laskea samankaltaisuussuhteita ja alkaa vertailla, onko joku videoleike visuaalisesti lähellä toista leikettä", Rautiainen kertoo.
Väritekstuureista kasvojentunnistukseen
Siis susi, lammas ja A-klinikka. Menetelmät pohjautuvat paikallisiin korrelaatioihin väri- ja intensiteettirakenteessa kuvassa, esimerkiksi väritekstuureihin. Sutta, lammasta ja A-klinikan ovea yhdisti kunkin kuvan yleinen vaaleanruskea värisävy.
"Haku toimii hyvin, kun kohteena on vaikka metsä tai uutisankkuri, ihminen, joka erottuu taustasta. Vaikeuksia tulee, jos kuvassa on paljon ihmisiä, joilla on erityyppisiä vaatteita ja he ovat sisätiloissa. Sellaiset kuvat ovat niin rikkaita sisällöltään, että on vaikea etsiä niistä todellisia samankaltaisuuksia", Rautiainen toteaa.
Rautiaisen mukaan MediaTeamissä on kehitetty puhtaaseen puheentunnistukseenkin perustuvia sovelluksia, jotka hakevat yhdysvaltalaisista televisiouutisista tuloksia hakutermin perusteella.
Toisaalta yliopistolla on kehitetty pitkälle vietyjä kasvojentunnistusalgoritmejä, jotka voitaisiin yhdistää järjestelmään vaikka heti, Mika Rautiainen sanoo.
Tallennettavan videon määrä kasvaa
Kuva-aineistohaulla on kysyntää ainakin suurissa mediataloissa, jotka tuottavat mahdollisesti useille televisiokanaville jatkuvasti audiovisuaalista materiaalia. Ne luottavat usein monimutkaisiin asiasanajärjestelmiin, joita pidetään yllä käsin.
Automatisoitu sisältöanalyysi auttaisi ainakin media-ammattilaisia, mutta prototyyppi tehtiin kuluttajia silmälläpitäen. Arkistoivat videotallentimet yleistyvät ennen pitkää kotitalouksissa, ja tallenteiden löytämiseen tarvitaan edistynyttä hakuteknologiaa.
"Ollaan vaikka istumassa iltaa ja mieleen tulee joku elokuva tai ihminen tai dokumentti, ja sitten halutaan juuri sillä hetkellä nähdä se videonpätkä. Jos olisi mahdollisuus tehdä se vaivattomasti sohvalta käsin, niin sille varmaan löytyisi myös kiinnostuneita kuluttajia", Rautiainen arvelee.