Uusia keinoja mobiilikuvantamiseen ja 3D-rekonstruktioon

Uusien älypuhelimien suorituskyky ja kuvausominaisuudet ovat kehittyneet suurin harppauksin. Ne pystyvät parhaimmillaan kilpailemaan jopa suurien ja kalliiden järjestelmäkameroiden kanssa. Ongelmia kuitenkin syntyy erityisesti hämärässä käsivaralta kuvattaessa, kerrotaan perjantaina Oulun yliopistolla tarkastettavassa DI Janne Mustaniemen väitöskirjatyössä.

Kännyköiden pienikokoinen kamerakenno pystyy keräämään vain rajallisen määrän valoa, jolloin kuvista tulee helposti kohinaisia. Toisaalta kuva saattaa näyttää tärähtäneeltä, jos kamera tai kuvattava kohde liikkuu valotuksen aikana. Tämä niin sanottu liike-epäterävyys vaikuttaa negatiivisesti paitsi kuvanlaatuun myös moniin konenäön sovelluksiin, kuten kuvapohjaiseen 3D-rekonstruktioon.

Oulun yliopiston konenäön ja signaalianalyysin tutkimusyksikön tohtorikoulutettava, diplomi-insinööri Janne Mustaniemi esittelee väitöstutkimuksessaan kaksi menetelmää liike-epäterävyyden poistoon. Menetelmät hyödyntävät inertiamittausyksikköä, joka löytyy useimmista kamerapuhelimista.

Inertiamittausyksikkö antaa tietoa laitteen liikkeestä kuvanottohetkellä, mikä helpottaa tärähtäneen kuvan korjaamista. Väitöskirjassa tutkitaan myös yhtäaikaista kohinan- ja liike-epäterävyydenpoistoa. Monilla laitteilla on mahdollista ottaa useita kuvia nopeasti peräkkäin eri valotusajoilla. Tämä työ esittää uudenlaisen menetelmän, joka hyödyntää koneoppimista sekä kuvapareja, jotka on otettu lyhyellä ja pitkällä valotusajalla.

Kuvapohjainen 3D-rekonstruktio on eräs konenäön keskeisimmistä ongelmista. Tavoitteena on muodostaa ympäristöstä 3D-malli kuvien tai videon pohjalta. Tähän prosessiin liittyy tunnettu rajoitus, että 3D-mallin absoluuttista skaalaa ei voida määrittää pelkästään yhden kameran avulla.

Mustaniemen väitöstyö esittelee inertiaalipohjaisen menetelmän, jolla tuntematon skaalauskerroin voidaan määrittää. Menetelmällä saadut tulokset ovat ensiluokkaisia ja menetelmä voidaan helposti integroida olemassa oleviin 3D-rekonstruktio-ohjelmistoihin.

Moniaukkokamerat ovat yleistyneet älypuhelimissa. Useita kamerayksiköitä hyödyntämällä voidaan parantaa kuvien laatua ja kameran ominaisuuksia. Tässä työssä perehdytään parallaksivirheen korjaamiseen, mikä aiheutuu siitä, että kamerayksiköiden näkymät eroavat hieman toisistaan.

Mustaniemen väitöstyö esittelee kuvafuusioalgoritmin moniaukkokameraan, missä jokainen kamerayksikkö on varustettu erillisellä värisuodattimella. Syötekuvat yhdistetään dispariteetti-kartan perusteella, joka estimoidaan hyödyntämällä kaikkia kuvia yhtä aikaa. Kyseinen lähestymistapa on varteenotettava vaihtoehto perinteiselle Bayer-suodattimella varustetulle kameralle.

Lisää: Väitöskirja: Konenäön menetelmiä mobiilikuvantamiseen ja 3D-rekonstruktioona, Janne Mustaniemi (LINKKI, pdf, 8,5 Mt). Väitöskirjatilaisuus järjestetään Oulun yliopistolla Zoom-verkkolahetteenä 4.12.2020 klo 12.00 alkaen (LINKKI).

Kuvituskuva: Samsungin kameramoduuli