Ihmiskehon liikkeitä voidaan seurata puettavilla anturitekniikoilla. Kun liikkeistä antamat tiedot yhdistetään ääneen, voidaan elokuviin, peleihin tai jopa moderniin tanssi-ilmaisuun tuoda kokonaan uudenlaisia ominaisuuksia. Suomessa puettavia antureita tutkitaan alan yritysten lisäksi VTT:n koordinoimassa SonicMove-projektissa, jossa on mukana useiden eri alojen ammattilaisia. Katso esittelyvideo äänisignaalien avulla luodusta tanssiteoksesta.
Uudenlaiset liikeanturit ovat osoittamassa hyödylliseksi laajemmin kuin pelkästään urheilun ja kuntoilun apuna. Niiden avulla voidaan harjoitella myös tarkemmin keräämällä kameran ja puettavien ratkaisujen avulla tietoa liikkeistä. Ja niitä seuraamalla voidaan todentaa liikesarjan toistojen tai virheiden samankaltaisuutta.
Suomalaisten älykellovalmistajien lisäksi VTT on tutkinut pitkään puettavia antureita, joissa liikkeen mittaus perustuu pääosin kiihtyvyys-, kulmanopeus- ja magneettikenttäantureihin. Niiden avulla on voitu helposti määrittää anturin suhteellinen liike, translaatio ja rotaatio sekä absoluuttinen orientaatio.
Tyypillisiä sovelluksia puettaville liikeantureille ovat älykellojen askelmittaus ja liikkeen määrän mittaus, tai unenseuranta sekä aktiviteetin tunnistus. Niiden lisäksi liikeantureiden sovellusmahdollisuudet lisääntyvät, kun liikkeistä saatavaan tietoon voidaan lisätä myös äänisignaalit. Uudenlainen reaaliaikainen äänipalaute voi olla vaikkapa jatkuva ääni, jonka korkeus muuttuu käden liikkeen nopeuden mukaan. Ääni voi antaa välitöntä palautetta liikkeestä suorituksen aikana esimerkiksi urheilu- ja pelisovelluksissa.
Reaaliaikainen ääni voi myös lisätä todellisuuden tuntua virtuaalitodellisuudessa. Jalkojen kosketus lattiapintaa vasten tai käden pyyhkäisy pöydän pinnalla aiheuttaa ääntä, joka riippuu pinnan ominaisuuksista. Virtuaalitodellisuudessa tämä voidaan tehdä digitaalisesti. Äänen avulla askellus sileällä lattialla voidaan saada kuulostamaan siltä kuin askeltaisi soralla tai lumella.
Liikkeisiin perustuvat äänet voivat tarjota myös puhtaasti esteettisiä elämyksiä. Kun kehon eri osien liikkeistä syntyvät äänet yhdistetään, niistä muodostuu liikkeiden avulla muokattava äänimaisema – liikettä ja ääntä yhdistävä taideteos.
Kehosta mitattua liikedataa voi olla käytännössä ääretön määrä, joten seurauksena voi helposti olla äänten kakofonia. On siis oleellista, että data esikäsitellään asianmukaisesti ja varsinaiseen äänisynteesiin päätyy vain huolella valittuja ja lopputuloksen kannalta oleellisia parametreja.
Uudessa VTT:n SonicMove-projektissa on syvennytty siihen, kuinka liikkeiden mittausta ja reaaliaikaista äänisynteesiä voidaan hyödyntää taiteessa ja kehollisissa peleissä. Projektin ensimmäinen produktio on Biodatasonaatti-tanssiteos, joka toteutetaan yhteistyössä kuopiolaisen Tanssiteatteri Minimin kanssa. Teoksen ensi-ilta oli 15.11.2023, mutta esitykset jatkuvat vielä 9.12.2023 asti.
”Tanssiteos on kiintoisa esimerkki siitä, kuinka teknologiaa voidaan hyödyntää taiteen alalla. Taide ja peliteollisuus ovat potentiaalisia sovelluskohteita VTT:n kehittämille teknologioille. Ihmiskehon liikkeiden mittaus sekä tanssi esimerkkinä siitä liittyvät kiinteästi myös terveysteemoihin, joita tutkimme VTT:llä ahkerasti”, sanoo tutkimustiimin vetäjä Teemu Ahmaniemi VTT:ltä.
Projektissa syntyviä tuloksia on tarkoitus hyödyntää mm. aivohalvauspotilaiden kuntoutuksessa tai näkövammaisten arkea helpottavien ratkaisujen kehityksessä. VTT:n kumppaneita SonicMove-projektissa ovat Itä-Suomen yliopisto ja Aalto-yliopisto. VTT:n koordinoima SonicMove-projekti kestää 2,5 vuotta. Projekti saa luovien alojen uudistumiseen tähtäävää rahoitusta Business Finlandilta.
SonicMove-projektin yrityspartnereita ovat äänentoistolaitteita valmistava Genelec sekä mainos- ja markkinointitoimisto Taustamarkkinat . Taiteellisia kumppaneita ovat Kuopio Tanssii ja Soi Festivaali , tanssiteatteri Minimi sekä useat tanssitaiteen ja äänisuunnittelun ammattilaiset.
Lisää: Anturitiedolla ryyhditetyn Biodatasonaatti-tanssiteoksen ennakkovideo (LINKKI, Youtube), tulevat esitykset 30.11-9.12.2023 (LINKKI), hankesivut (LINKKI) sekä Uusiteknologia.fi:ssä aiemmat alan uutisjutut Kentauri tuo anturit ja algoritmit teatteriin 7.9.2023 (LINKKI) sekä muut anturialueen artikkelit Uusiteknologia.fi:ssä (LINKKI).
Kuva: Tanssiteatteri Minimin ennakkovideolta