Työryhmien etäpalaverien kuormittavuuden vähentäminen ja hyödyllisyyden lisääminen fysiologisten mittareiden avulla

Tiivistelmä

Tunnistetaan työskentelylle optimaalinen fysiologisen virittymisen tila ja miten sen syntymistä voidaan tukea työpaikan etäpalavereissa tunteita herättävissä aiheissa. Pilotoidaan videopohjaista fysiologisen ja emotionaalisen tilan mittausta, jonka pohjalta voidaan kehittää reaaliaikaista biopalautetta osallistujille antava sovellus. Tiedon avulla voidaan parantaa etäpalaverien ja -ohjausten hyödyllisyyttä ja vähentää niiden kuormittavuutta, mikä tarve on etätyön yleistyttyä tullut esiin.

Oulun (200414) ja Jyväskylän (200337) yliopistojen yhteishanke.

Hankkeen vastuuhenkilö

Xiaobai Li

Tiedote

Sykkeen etämittaus ja emootioiden analyysi kasvokuvavideoista onnistuu etäpalaverien aikana

Tiivistelmä

Hankkeessa kehitettiin ohjaamattoman oppimisen menetelmä, joka pystyy langattomasti mittaamaan fotopletysmografisignaalia (rPPG) kasvoista. Lisäksi kokeiltiin multi-modaalisia tekniikoita yhdistämään fysiologisia- ja käyttäytymispiirteitä stressi- ja kuormittavuustasojen mittaukseen. Kolme päähavaintoa ovat: 1) rPPG-piirteet toimivat paremmin stressin arviointiin kuin käyttäytymispiirteet; 2) kahden minuutin aikaikkuna on riittävä rPPG analyysiin keskittymistasojen mittaukseen; 3) kasvojen aktioyksiköt ja pään pyöriminen ovat tehokkaita käyttäytymispiirteitä keskittymistasojen mittaukseen. Reaaliaikaiseen rPPG-signaalin mittaukseen kehitettiin matkapuhelinsovellus ja menetelmää testattiin keräämällämme etäpalaveri aineistolla.

Kerro hankkeen käynnistämisen lähtökohdat, teoriatausta, uutuusarvo ja tavoitteet.

Fotoplethysmografia (PPG) on tärkeä fysiologinen signaali, joka liittyy ihmisten tunteisiin. Perinteiset PPG mittaukset vaativat kontaktisensorin, mikä on epämukava ja rajoittaa liikkeitä. Viimeaikaiset tutkimukset ovat näyttäneet, että PPG-signaalia voidaan mitata langattomasti kasvoista (rPPG). Tässä projektissa kehitettiin koneoppimismenetelmiä robustiin rPPG:n mittaukseen. Kehitetyt menetelmät pystyvät jälleenrakentamaan rPPG-signaaleja etäpalaverista tunteiden analyysiä varten.

Aineisto

Yhteistyössä konsortion kanssa Jyväskylästä, kerättiin 24 videon aineisto etäpalavereista. Yhdessä palaverissa oli seitsemästä yhdeksään osallistujaa ja yksi konsultti. Palaverin tarkoituksena oli auttaa osallistujia vähentämään työstressiä. Aineistoa käytetiin testaamaan kehitettyä rPPG tekniikkaa.

Menetelmät

Hankkeessa kehitettiin uusi ohjaamaton koneoppimismenetelmä, Contrast-Phys, joka pystyy mittaamaan rPPG-signaalin tarkasti. Menetelmä opetettiin alustavasti muilla video aineistolla, jonka jälkeen tarkempi opetus toteutettiin etäpalaveri aineistolla. Menetelmä välttää kohinaisia luokkia tehokkaasti ja se pystyy yhdistämään rPPG-signaalin käytöspiirteiden kanssa stressi- ja kuormittavuustasojen mittaukseen.

Tulokset ja johtopäätökset

Kehitettyä menetelmää käytettiin saamaan parempi sykkeen mittauksen tarkkuus kerätyllä aineistolla. Hankkeessa saatiin myös lupaavia tuloksia stressi- ja kuormittavuustasojen mittauksesta. Kolme päähavaintoa ovat: 1) rPPG-piirteet toimivat paremmin stressin arviointiin kuin käyttäytymispiirteet; 2) kahden minuutin aikaikkuna on riittävä rPPG analyysiin kuormittavuustasojen mittaukseen; 3) kasvojen aktioyksiköt ja pään pyöriminen ovat tehokkaita käyttäytymispiirteitä kuormittavuustasojen mittauks

Uutuusarvo ja sovellettavuus

Kehitetty menetelmä voidaan toteuttaa matkapuhelinsovelluksena tai sulautetussa järjestelmässä reaaliaikaiseen sykkeen mittaukseen, jota voidaan käyttää useissa työpaikoissa tunteiden analyysiin ja terveyden mittaukseen. Toimiva prototyyppi on kehitetty Android käyttöjärjestelmille, joka toimii hyvin.

Aineisto

Mikko Pohjola, Zhaodong Sun, Alexander Vedernikov, Miriam Nokia, Joona Muotka, Miiamaaria Kujala, Risto Puutio, Anu Tourunen, Xiaobai Li, and Virpi-Liisa Kykyri Reducing strain and increasing gain of remote work group meetings with physiological indicators. Loppuraportti. Jyväskylän yliopiston psykologian laitoksen julkaisuja 360.
ISBN: 978-951-39-9756-4 Avaa

Julkaisuluettelo Avaa