Kirjoittaja: Elina Koski
Katseenseuranta on yksi XR-laitteiden kiinnostavimmista ja henkilökohtaisimmista ominaisuuksista. Sen avulla laite voi ymmärtää, mihin käyttäjän huomio kohdistuu. Tämä voi tehdä käyttöliittymästä nopeamman, kuvan piirtämisestä tehokkaampaa ja tunnistautumisesta sujuvampaa.
Samalla katseenseuranta käsittelee tietoa, joka liittyy hyvin henkilökohtaiseen käyttäytymiseen. Katse voi kertoa, mihin käyttäjä kiinnittää huomiota, kuinka kauan hän katsoo tiettyä kohtaa ja miten hänen huomionsa liikkuu virtuaalisessa ympäristössä.
Tämän vuoksi katseenseuranta kuuluu Niteizen yksityisyys- ja turvallisuusoppaiden ytimeen. Kyse on hyödyllisestä tekniikasta, mutta myös yhdestä intiimeimmistä anturitiedoista, joita XR-laite voi käsitellä. Käyttäjän kannattaa ymmärtää, mihin tarkoitukseen katsetietoa käytetään, missä tieto käsitellään ja milloin sovellus pyytää siihen pääsyä.
Mitä katseenseuranta tarkoittaa XR-laseissa?
Katseenseuranta (eye tracking) tarkoittaa sitä, että laite arvioi, mihin käyttäjän silmät suuntautuvat. XR-laseissa tämä tapahtuu yleensä laitteen sisäpuolella olevilla kameroilla ja infrapunavalolla, jotka seuraavat silmien liikettä.
Katseenseurantaa voidaan käyttää useaan tarkoitukseen. Se voi auttaa käyttöliittymän ohjaamisessa, kuvanlaadun optimoinnissa, virtuaalihahmon (avatar) katsekontaktissa, esteettömyystoiminnoissa, laitteen säätökalibroinnissa (calibration) ja biometrisessä tunnistautumisessa.
Apple Vision Pro käyttää silmien seurantaa katseeseen perustuvassa käyttöliittymässä ja Optic ID -tunnistuksessa eli iirikseen perustuvassa biometrisessä tunnistautumisessa (biometric authentication). Meta Quest Prossa katseenseuranta liittyy muun muassa katseen suunnan arviointiin ja sovellusten toimintoihin, jos käyttäjä antaa siihen luvan.
Tärkein perusajatus on selkeä. Katseenseuranta muuttaa silmien liikkeen osaksi käyttöliittymää. Katse toimii havaitsemisen lisäksi myös laitteen ohjaamisen välineenä.
Miten katseenseuranta käytännössä toimii?
XR-laitteen sisällä olevat anturit seuraavat silmien sijaintia ja liikettä. Järjestelmä käyttää tyypillisesti infrapunavaloa ja kameroita, joiden avulla laite arvioi pupillin, iiriksen tai silmän heijastusten perusteella katseen suuntaa.
Raakadatan pohjalta laite muodostaa teknisen arvion siitä, mihin käyttäjä katsoo. Meta kertoo Quest Pro -katseenseurannan tietosuojailmoituksessa, että silmien raakakuvadata käsitellään reaaliaikaisesti laitteessa ja poistetaan käsittelyn jälkeen. Metan erillinen katseenseurannan tekninen taustadokumentti (white paper) erottaa silmien raakakuvadataa ja siitä johdettua katsetietoa toisistaan.
Tämä ero on tärkeä. Silmien raakakuva voi sisältää tarkempia silmän yksityiskohtia. Johdettu katsetieto taas kertoo teknisen arvion katseen suunnasta. Molemmat ovat yksityisyyden kannalta merkittäviä, mutta niiden käyttötarkoitus ja riskitaso voivat olla erilaisia.
Käyttäjän kannalta olennaista on tarkistaa, mitä käsitellään laitteessa, mitä sovellus voi saada käyttöönsä ja milloin käyttäjältä pyydetään lupa.
Miksi katseenseurantaa käytetään?
Katseenseurannan suurin hyöty on luonnollisuus. Ihminen katsoo yleensä sitä kohtaa, johon huomio kohdistuu. Kun laite tunnistaa katseen suunnan, käyttöliittymä voi tuntua nopeammalta ja vähemmän ohjaimista riippuvalta.
Katseenseurantaa voidaan käyttää esimerkiksi valikoiden ja painikkeiden osoittamiseen, virtuaalihahmojen ilmeiden elävöittämiseen, esteettömyyden parantamiseen, kuvanlaadun optimointiin ja biometriseen tunnistautumiseen. Joissakin sovelluksissa sitä voidaan hyödyntää myös tutkimuksessa, koulutuksessa tai käyttäjän toiminnan analysoinnissa, jos käyttäjä antaa siihen luvan.
Hyvin toteutettuna katseenseuranta voi tuntua lähes huomaamattomalta. Käyttäjä katsoo kohdetta, tekee vahvistavan eleen ja laite ymmärtää tarkoituksen. Juuri tämä tekee tekniikasta tehokkaan. Sama luonnollisuus tekee siitä myös yksityisyyden kannalta vakavan aiheen, koska laite käsittelee käyttäjän huomiota hyvin läheltä.
Katseen mukaan tarkentuva kuvanpiirto parantaa suorituskykyä
Yksi katseenseurannan tärkeimmistä teknisistä käyttötavoista on katseen mukaan tarkentuva kuvanpiirto (foveated rendering). Ajatus perustuu ihmisen näköön. Näemme tarkimmin sen kohdan, johon katsomme suoraan, ja reuna-alueet havaitaan vähemmän tarkasti.
XR-laite voi hyödyntää tätä piirtämällä parhaan kuvanlaadun juuri siihen kohtaan, johon käyttäjä katsoo. Reuna-alueita voidaan piirtää kevyemmin, jolloin laitteen suorituskykyä säästyy. Tobii kuvaa dynaamista katseen mukaan tarkentuvaa kuvanpiirtotekniikkaa (dynamic foveated rendering) menetelmäksi, joka käyttää reaaliaikaista katsetietoa kuvanpiirtokuorman vähentämiseen.
Käyttäjälle hyöty voi näkyä parempana suorituskykynä, tarkempana keskeisenä kuvana tai sulavampana käyttökokemuksena. Kehittäjälle sama tekniikka antaa keinon käyttää laskentatehoa järkevämmin.
Yksityisyyden näkökulmasta johtopäätös on selvä. Katseenseurantaa voidaan käyttää hyödylliseen tekniseen tarkoitukseen, mutta järjestelmä käsittelee samalla tietoa siitä, mihin käyttäjän huomio kohdistuu. Siksi käyttötarkoitus, paikallinen käsittely ja sovellusluvat ovat olennaisia.
Katse käyttöliittymänä
Apple Vision Pro teki monelle käyttäjälle näkyväksi sen, mihin XR-käyttöliittymät ovat kehittymässä. Käyttäjä katsoo kohdetta ja vahvistaa valinnan käsieleellä. Katse ja ele toimivat yhdessä.
Tällainen käyttöliittymä voi vähentää tarvetta erillisille ohjaimille. Se voi myös parantaa saavutettavuutta, jos käyttäjä käyttää mieluummin katsetta ja pieniä eleitä kuin fyysisiä ohjaimia. Katseeseen perustuva valinta voi olla nopea, tarkka ja kevyempi tapa liikkua käyttöliittymässä.
Samalla katseesta tulee osa vuorovaikutusta. Kun käyttäjä selaa valikkoa, katsoo ilmoitusta, valitsee sovellusta tai kirjoittaa virtuaalinäppäimistöllä, katse voi kertoa paljon siitä, mitä hän on tekemässä.
Katseohjaus voi olla erinomainen ominaisuus. Se ansaitsee kuitenkin selkeät asetukset ja läpinäkyvän tiedonkäsittelyn.
Optic ID tarkoittaa silmään perustuvaa tunnistautumista
Apple Vision Prossa Optic ID tarkoittaa tunnistautumistapaa, jossa laite tunnistaa käyttäjän silmän iiriksen perusteella. Käytännössä se on Vision Pron vastine sormenjälkeen perustuvalle Touch ID:lle ja kasvoihin perustuvalle Face ID:lle. Ero on siinä, että tunnistus perustuu silmän yksilöllisiin piirteisiin.
Applen mukaan Optic ID käyttää Vision Pron silmien seurantajärjestelmää, joka hyödyntää infrapunakameroita ja LED-valoja. Apple kertoo, että Optic ID -data on salattua, sitä suojataan laitteen Secure Enclave -turvajärjestelmässä (Secure Enclave), eikä Optic ID -data poistu laitteesta. Käyttäjä voi ottaa Optic ID:n käyttöön tai pois käytöstä yksityisyys- ja turvallisuusasetuksissa.
Biometrinen tunnistautuminen voi olla käyttäjälle kätevää, koska laite avautuu nopeasti ja ostot tai kirjautumiset voidaan vahvistaa ilman jatkuvaa salasanan kirjoittamista. Biometrinen tieto on samalla yksityisyyden kannalta erityinen tietoluokka. Salasanan voi vaihtaa, mutta kehon yksilöllisiä piirteitä ei vaihdeta samalla tavalla.
Käyttäjän kannattaa tarkistaa, miten valmistaja suojaa biometrisen tiedon, pysyykö tieto laitteessa, voiko tunnistautumisen poistaa käytöstä ja mitä vaihtoehtoja on tarjolla pääsykoodille tai muille kirjautumistavoille.
Miksi katsetieto on arkaluonteista?
Katsetieto voi paljastaa enemmän kuin käyttäjä ensin ajattelee. Se voi kertoa, mihin käyttäjä kiinnittää huomiota, mikä jää huomiotta, kuinka nopeasti hän reagoi ärsykkeisiin ja miten hän toimii virtuaalisessa ympäristössä.
Yksittäinen katsepiste voi olla melko vähämerkityksinen. Pitkään kerätty katsetieto on eri asia. Kun katsetta yhdistetään sovelluksen sisältöön, käyttöaikaan, käyttäjäprofiiliin tai muihin anturitietoihin, siitä voi muodostua tarkka kuva käyttäjän kiinnostuksesta ja käyttäytymismalleista.
Tutkimuksessa katseenseurannan yksityisyysriskejä on käsitelty laajasti. VR:n katseenseurantaa koskeva katsaus nostaa esiin sekä teknisiä mahdollisuuksia että haasteita. Kognitiivisia biometrisiä tietoja koskeva tutkimuskeskustelu korostaa sitä, että käyttäytymiseen perustuvat tiedot voivat paljastaa arkaluonteisia asioita myös silloin, kun ne eivät ole perinteistä terveystietoa.
Katsetieto kuuluu tietoihin, joita kannattaa käsitellä vain selkeään tarkoitukseen ja käyttäjän aidolla hallinnalla.
Voiko katsetiedosta päätellä arkaluonteista toimintaa?
Katseenseuranta voi luoda uusia tietoturvariskejä, jos sitä käsitellään huolimattomasti tai jos katseen liikkeet näkyvät epäsuorasti muille. Wired uutisoi vuonna 2024 GAZEploit-tutkimuksesta, jossa tutkijat pystyivät päättelemään Vision Pro -käyttäjien virtuaalinäppäimistöllä kirjoittamia tietoja analysoimalla käyttäjän Persona-virtuaalihahmon silmien liikkeitä. Tutkijat ilmoittivat haavoittuvuudesta Applelle, ja Apple korjasi ongelman estämällä Personan jakamisen kirjoittamisen aikana.
Tämä esimerkki näyttää katsetiedon erityisyyden. Riski voi syntyä myös epäsuorasti, esimerkiksi virtuaalihahmon katseen, jaetun näkymän tai videopuhelun kautta. Suora pääsy laitteen sisäiseen katseenseurannan raakadataan ei ole ainoa mahdollinen riskipolku.
Käytännön ohje on selkeä. Salasanat, maksutiedot, yksityiset viestit ja arkaluonteiset työasiat kannattaa käsitellä XR-laitteessa erityisen huolellisesti, etenkin jaetuissa sovelluksissa, videopuheluissa ja virtuaalihahmoihin (avatars) perustuvissa ympäristöissä.
Mitä sovellukset voivat tehdä katsetiedolla?
Sovellukset voivat käyttää katsetietoa monella tavalla. Käyttöliittymä voi tarjota kohteen valitsemista katseella. Peli voi reagoida siihen, mihin pelaaja katsoo. Koulutus- tai tutkimussovellus voi analysoida, mihin käyttäjä kiinnittää huomiota. Sosiaalinen XR-sovellus voi käyttää katsetta virtuaalihahmon (avatar) luonnollisempaan ilmeeseen.
Tällainen käyttö voi olla perusteltua, kun tarkoitus on ymmärrettävä ja käyttäjä on antanut luvan. Meta kertoo Quest Pro -katseenseurannan teknisessä taustadokumentissa, että sovelluksille voidaan jakaa käyttäjän luvalla johdettua katsetietoa XR-sovellusrajapintojen (OpenXR API) kautta. Metan tietosuojailmoituksen mukaan raakakuvadata käsitellään laitteessa ja poistetaan käsittelyn jälkeen.
Käyttäjän kannattaa arvioida sovelluskohtaisesti, miksi sovellus pyytää katseenseurantaa. Hyvä syy voi olla käyttöliittymän ohjaus, saavutettavuus, virtuaalihahmon luonnollinen katsekontakti tai kuvanlaadun optimointi. Epäselvä syy kannattaa ottaa vakavasti ja lupa jättää antamatta, jos sovellus toimii hyvin ilman sitä.
Katseenseuranta ja lapset
Lasten ja nuorten kohdalla katseenseurantaa kannattaa tarkastella erityisen huolellisesti. Lapsen huomio, reaktiot ja kiinnostuksen kohteet voivat olla arkaluonteista käyttäytymisdataa.
Jos laite käyttää katseenseurantaa vain paikalliseen käyttöliittymäohjaukseen tai kuvanpiirtoon, riskitaso on erilainen kuin tilanteessa, jossa sovellus tallentaa, analysoi tai jakaa katsetietoa. Vanhemman kannattaa tarkistaa, voiko katseenseurannan ottaa pois käytöstä, miten sovellusluvat toimivat ja selitetäänkö lapselle ymmärrettävästi, mitä ominaisuus tekee.
Lasten kohdalla tärkein periaate on hallinta. Ominaisuuden tarkoitus, asetukset ja sovellusten pyytämät luvat kannattaa ymmärtää ennen aktiivista käyttöä.
Mitä asetuksia käyttäjän kannattaa tarkistaa?
Katseenseurannan asetukset vaihtelevat laitteittain. Käyttäjän kannattaa etsiä asetuksista ainakin seuraavat kohdat:
- onko katseenseuranta päällä
- mihin tarkoituksiin katseenseurantaa käytetään
- voiko katseenseurantaa hallita sovelluskohtaisesti
- mitkä sovellukset ovat pyytäneet pääsyn katsetietoon
- voiko katseenseurannan säätökalibroinnin poistaa tai nollata
- käytetäänkö katsetietoa virtuaalihahmojen ilmeisiin
- liittyykö katseenseuranta biometriseen tunnistautumiseen
- voiko biometrisen tunnistautumisen korvata pääsykoodilla
- käsitelläänkö katsetieto laitteessa vai siirtyykö sitä palveluun
Apple Vision Prossa käyttäjän kannattaa tarkistaa erityisesti Optic ID -tunnistus, katseeseen perustuva käyttöliittymä, sovellusluvat sekä yksityisyys- ja turvallisuusasetukset. Meta Quest Prossa olennaista on katseenseurannan käyttöönotto, sovelluskohtaiset luvat ja se, mitä sovellus kertoo katsetiedon käytöstä.
Käytännön tarkistuslista katseenseurannalle
| Tarkistettava asia | Miksi se on tärkeä? |
| Katseenseurannan käyttötarkoitus | Sama tekniikka voi tukea käyttöliittymää, kuvanlaatua, tunnistautumista tai analytiikkaa. |
| Sovelluskohtaiset luvat | Kaikki sovellukset eivät tarvitse katsetietoa. |
| Paikallinen käsittely | Laitteessa käsitelty tieto on yleensä hallitumpaa kuin pilveen siirtyvä tieto. |
| Biometrinen tunnistus | Iirikseen perustuva tunnistus vaatii erityistä suojaa. |
| Virtuaalihahmot ja jaetut tilat | Katseen liikkeet voivat näkyä epäsuorasti muille käyttäjille. |
| Lasten käyttö | Lapsen käyttäytymisdataa kannattaa käsitellä erityisen tarkasti. |
| Poistaminen ja nollaus | Käyttäjän pitää tietää, miten säätökalibrointi, luvat ja tunnistautuminen poistetaan. |
Mitä käyttäjän kannattaa muistaa?
Katseenseuranta tekee XR-laitteista nopeampia, luonnollisempia ja teknisesti tehokkaampia. Se voi parantaa kuvanlaatua, helpottaa ohjausta, tukea esteettömyyttä ja mahdollistaa biometrisen tunnistautumisen.
Samaan aikaan katse kertoo käyttäjästä paljon. Se liittyy huomioon, kiinnostukseen, reaktioihin ja joskus tunnistautumiseen. Siksi katsetieto ansaitsee saman tason harkintaa kuin kamera, mikrofoni ja sijainti.
Hyvä peruslinja on selkeä. Katseenseuranta kannattaa ottaa käyttöön silloin, kun se parantaa käyttökokemusta ymmärrettävästi ja käyttäjä tietää, miten tietoa käsitellään. Sovelluksille annettavat luvat, biometrinen tunnistautuminen ja lasten käyttö kannattaa tarkistaa erikseen.
Kun katseenseuranta pysyy käyttäjän hallinnassa, se voi olla yksi XR-laitteiden hyödyllisimmistä ominaisuuksista. Ilman selkeitä asetuksia ja läpinäkyvää tiedonkäsittelyä siitä voi tulla yksi henkilökohtaisimmista anturitiedoista, joita laite käsittelee.
Suositeltavaa lisälukemista
- Yksityisyys, turvallisuus ja vastuullinen käyttö AI-laseissa ja XR-laitteissa
- AI-lasien yksityisyysasetukset: tarkistuslista kameralle, mikrofonille ja pilvitallennukselle
- Mitä XR-laite tietää huoneestasi?
- Lasten ja nuorten VR- ja XR-lasit: mitä vanhemman kannattaa tietää?
- Kameralliset älylasit julkisissa tiloissa: missä käyttö on luontevaa ja missä se vaatii harkintaa?
Lähteet ja lisälukeminen
- Apple Support: About Optic ID advanced technology.
https://support.apple.com/118483 - Apple: Apple Vision Pro Privacy Overview.
https://www.apple.com/privacy/docs/Apple_Vision_Pro_Privacy_Overview.pdf - Meta: Eye Tracking Privacy Notice.
https://www.meta.com/legal/quest/eye-tracking-privacy-notice/ - Meta: Building Eye Tracking on Meta Quest Pro Responsibly.
https://securecdn.oculus.com/sr/meta-quest-pro-eye-tracking-white-paper - Tobii: Eye tracking and dynamic foveated rendering.
https://www.tobii.com/resource-center/reports-and-papers/eye-tracking-and-dynamic-foveated-rendering - Tobii: What is foveated rendering?
https://www.tobii.com/blog/what-is-foveated-rendering - Adhanom, I. B. et al.: Eye Tracking in Virtual Reality, a Broad Review of Applications and Challenges.
https://pmc.ncbi.nlm.nih.gov/articles/PMC10449001/ - Magee, P. et al.: Beyond neural data, Cognitive biometrics and mental privacy.
https://www.sciencedirect.com/science/article/pii/S0896627324006524 - Wired: Apple Vision Pro’s Eye Tracking Exposed What People Type.
https://www.wired.com/story/apple-vision-pro-persona-eye-tracking-spy-typing