Katseenseuranta XR-laseissa: miten se toimii ja miksi se on yksityisyyden kannalta merkittävä?

Kirjoittaja: Elina Koski

Katseenseuranta tekee laajennetun todellisuuden eli XR-laitteen käytöstä poikkeuksellisen luontevaa. Laite pystyy tunnistamaan käyttäjän katseen suunnan ja hyödyntämään sitä käyttöliittymän ohjaamisessa, kuvanpiirron kohdentamisessa, saavutettavuustoiminnoissa ja joissakin laitteissa käyttäjän tunnistamisessa.

Samalla syntyy hyvin henkilökohtaista tietoa. Silmien liikkeistä voidaan muodostaa tietoa siitä, mihin käyttäjä katsoo ja miten hänen huomionsa liikkuu digitaalisessa ympäristössä. Iiriksen yksilöllisiä ominaisuuksia voidaan puolestaan käyttää biometriseen eli kehon yksilölliseen ominaisuuteen perustuvaan tunnistautumiseen.

Yksityisyyden kannalta olennaista on erottaa toisistaan silmistä kerättävä anturitieto, siitä muodostettu katsetieto, sovellusten käyttöön välitettävä tieto ja tunnistautumiseen käytettävä biometrinen tieto. Näillä tiedoilla on eri käyttötarkoitukset, ja niiden käsittelytavat vaihtelevat laitteen ja toiminnon mukaan.

Katseenseurannan turvallisuutta arvioitaessa huomio kannattaa kohdistaa koko tiedonkäsittelyn ketjuun: mitä silmistä havaitaan, mitä havainnosta muodostetaan, missä tietoa käsitellään, tallentuuko sitä ja kenelle sitä voidaan välittää. Näiden kysymysten avulla katseenseurannan hyötyjä ja yksityisyyteen liittyviä vaikutuksia pystyy arvioimaan käytännönläheisesti.

Mitä katseenseuranta tarkoittaa XR-laseissa?

Katseenseuranta tarkoittaa tekniikkaa, jolla laite arvioi käyttäjän katseen suuntaa. Tekniikasta käytetään englanniksi nimitystä eye tracking. XR-laitteissa seuranta toteutetaan tavallisesti laitteen sisäpuolella olevilla kameroilla ja infrapunavalolla.

Järjestelmä voi seurata esimerkiksi pupillin sijaintia, iiriksen rakennetta ja silmän pinnasta syntyviä heijastuksia. Näistä havainnoista muodostetaan laskennallinen arvio katseen suunnasta ja esimerkiksi siitä, mihin käyttöliittymän kohtaan käyttäjä katsoo.

Yksityisyyden arvioinnissa kannattaa erottaa raakadata ja siitä johdettu tieto. Raakadatalla tarkoitetaan antureiden alkuperäisiä havaintoja silmistä. Johdettu katsetieto on näistä havainnoista laskennallisesti muodostettua tietoa, kuten katseen suunta tai käyttäjän katsoma käyttöliittymän kohde.

Tällä erolla on käytännön merkitystä. Järjestelmä voi käsitellä silmien raakadataa laitteen sisällä ja käyttää siitä muodostettua katseen suuntaa käyttöliittymän ohjaamiseen. Sovellukselle voidaan puolestaan välittää vain sen toiminnan kannalta tarpeellinen tieto.

Miten XR-laite seuraa katsetta?

Katseenseuranta perustuu tavallisesti silmien lähelle sijoitettuihin kameroihin ja infrapunavaloon. Järjestelmä seuraa silmien asentoa ja liikettä ja laskee havaintojen perusteella käyttäjän katseen suunnan.

Tarkka katseohjaus vaatii yleensä kalibroinnin eli järjestelmän sovittamisen käyttäjän silmille. Kalibroinnin avulla järjestelmä yhdistää silmien liikkeet käyttäjän katsomaan kohtaan.

Kalibroinnissa muodostuva tieto kuuluu samalla katseenseurannan tiedonkäsittelyyn. Käyttäjän kannalta olennaisia kysymyksiä ovat tiedon säilytyspaikka, mahdollisuus tehdä kalibrointi uudelleen sekä käyttäjän vaihtumisen vaikutus tallennettuihin asetuksiin.

Apple Vision Pro muodostaa silmien käyttöönoton yhteydessä käyttäjän silmien geometriaan perustuvan mallin. Applen mukaan tieto salataan, säilytetään laitteessa ja pidetään sovellusten ulottumattomissa. Samsung Galaxy XR:n katseohjauksen kalibrointi puolestaan sovitetaan käyttäjän silmille, ja Samsung ohjeistaa tekemään sen uudelleen käyttäjän vaihtuessa.

Miksi katseenseurantaa käytetään?

Katseenseurannalla on useita toisistaan poikkeavia käyttötarkoituksia. Katse voi toimia käyttöliittymän osoittimena, auttaa kohdentamaan laitteen laskentatehoa, tukea saavutettavuutta tai välittää virtuaalihahmolle käyttäjän silmien liikkeitä. Joissakin laitteissa silmien ominaisuuksia hyödynnetään käyttäjän tunnistamiseen.

Käyttötarkoitus vaikuttaa siihen, millaista tietoa tarvitaan ja kuinka pitkään sitä käsitellään.

Hyvä esimerkki on katseen mukaan tarkentuva kuvanpiirto, josta käytetään englanniksi nimitystä foveated rendering. Ihmisen näkö on tarkimmillaan katseen keskellä. XR-laite voi hyödyntää tätä tuottamalla tarkimman kuvan käyttäjän katsomalle alueelle ja käyttämällä vähemmän laskentatehoa näkökentän reuna-alueisiin.

Katsetiedon tehtävänä on tällöin auttaa kuvan muodostamisessa. Toisenlainen käyttötarkoitus syntyy tilanteessa, jossa katseen liikkeitä tallennetaan pidemmältä ajalta esimerkiksi tutkimusta tai käyttäjän toimintaa koskevaa analyysia varten.

Näiden käyttötapojen yksityisyysvaikutukset eroavat toisistaan. Katseenseurannan merkitystä määrittää anturin lisäksi se, mihin katsetietoa käytetään, missä sitä käsitellään ja kuinka pitkään sitä säilytetään.

Apple Vision Pro – katse käyttöliittymän ohjaajana

Apple Vision Prossa katse on keskeinen osa käyttöliittymän ohjausta. Nykyisessä mallissa on neljä silmien seurantaan tarkoitettua kameraa. Käyttäjä voi katsoa haluamaansa kohdetta ja vahvistaa valinnan esimerkiksi yhdistämällä peukalon ja etusormen.

Yksityisyyden kannalta kiinnostavaa on järjestelmän tapa erottaa katseen seuraaminen käyttäjän tekemästä valinnasta.

Applen mukaan Vision Pron visionOS-käyttöjärjestelmä käsittelee silmien liikkeitä järjestelmätasolla. Katseohjauksen tietoja ei jaeta Applelle, kolmansien osapuolten sovelluksille tai verkkosivustoille. Sovellukset ja verkkosivustot saavat tiedon käyttäjän vahvistamasta valinnasta.

Toteutus havainnollistaa tietojen minimoinnin periaatetta. Käyttöliittymä tarvitsee katseenseurannan toimiakseen, mutta sovellukselle voidaan välittää vain sen tarvitsema lopputulos.

Katseenseurannan yksityisyyttä arvioitaessa kannattaa tämän vuoksi erottaa käyttöjärjestelmän sisäinen tiedonkäsittely ja sovellukselle välitettävä tieto.

Samsung Galaxy XR – katse ja käsieleet

Samsung Galaxy XR tarjoaa kaksi tapaa kohdistaa käyttöliittymän valintoja: käsillä tai katseella. Katseohjauksessa käyttäjä katsoo haluamaansa kohdetta ja käyttää käsielettä toiminnon vahvistamiseen.

Samsungin mukaan katseohjaus kalibroidaan käyttäjän silmille. Käyttäjän vaihtuessa kalibrointi tehdään uudelleen. Sen voi uusia asetuksista tilanteessa, jossa katseen kohdistaminen muuttuu epätarkaksi.

Galaxy XR havainnollistaa katseenseurannan käytännöllistä puolta. Katse toimii osoittimena ja käsieleellä vahvistetaan valinta. Järjestelmä pystyy lisäksi vaihtamaan katseeseen ja käteen perustuvan kohdistamisen välillä käyttäjän toiminnan mukaan.

Yksityisyyden arvioinnissa huomio kannattaa kohdistaa siihen, millaista katsetietoa järjestelmä tarvitsee toimintoon ja millaisia tietoja yksittäinen sovellus saa käyttöönsä.

Optic ID ja iirikseen perustuva tunnistautuminen

Apple Vision Pro käyttää silmien alueelta kerättävää tietoa myös Optic ID -tunnistautumisessa. Optic ID on iirikseen perustuva biometrinen tunnistautumistapa. Biometrinen tunnistautuminen tarkoittaa käyttäjän tunnistamista kehon yksilöllisen ominaisuuden perusteella.

Vision Pron infrapunakamerat kuvaavat iiristä, minkä jälkeen järjestelmä muodostaa kuvasta matemaattisen esityksen tunnistamista varten. Applen mukaan Optic ID -tiedot salataan ja suojataan Secure Enclave -turvapiirillä, joka on eristetty laitteen pääsuorittimesta. Optic ID -tiedot pysyvät laitteessa ja jäävät pilvivarmuuskopioinnin ulkopuolelle.

Sovellukselle välitetään tunnistautumisesta vain tieto sen onnistumisesta. Varsinainen Optic ID -tieto pysyy sovelluksen ulottumattomissa. Käyttäjä voi poistaa Optic ID:n käytöstä ja poistaa siihen liittyvät matemaattiset iiristunnisteet laitteen asetuksista.

Katseohjaus ja biometrinen iiristunnistus ovat tämän vuoksi kaksi eri asiaa. Katseohjauksessa muodostetaan tietoa katseen suunnasta. Optic ID:ssä iiriksen yksilöllisiä ominaisuuksia käytetään käyttäjän henkilöllisyyden varmistamiseen.

Mikä tekee katsetiedosta yksityisyyden kannalta merkittävää?

Katsetiedon merkitys riippuu sen tarkkuudesta, käyttötarkoituksesta, säilytysajasta ja siitä, mihin muihin tietoihin sitä yhdistetään.

Yksittäinen katseen suunta voi palvella hetkellisesti käyttöliittymän ohjaamista. Pidemmältä ajalta kerätty katsehistoria voi puolestaan muodostaa tietoa käyttäjän huomion kohdistumisesta ja käyttäytymisestä.

Merkitys kasvaa, kun katseen liikkeet yhdistetään käyttäjän näkemään sisältöön. Tällöin tietoa voidaan muodostaa esimerkiksi siitä, mihin kohteisiin käyttäjän huomio kiinnittyy ja kuinka kauan hän tarkastelee niitä.

Katsetiedon käsittelyssä voidaan tämän vuoksi erottaa kolme erilaista tilannetta. Hetkellinen käsittely voi palvella käyttöliittymää tai kuvanpiirtoa. Tallennettu katsehistoria mahdollistaa käyttäytymisen tarkastelun pidemmältä ajalta. Biometrisessä tunnistautumisessa silmien yksilöllisiä ominaisuuksia käytetään puolestaan käyttäjän henkilöllisyyden varmistamiseen.

Näiden toimintojen yksityisyysvaikutukset ovat erilaisia, vaikka jokaisessa hyödynnetään silmien alueelta saatavaa tietoa.

Katsetietoa voidaan päätellä muiden toimintojen kautta

Katsetiedon suojaamisessa kannattaa tarkastella suoran tiedonsaannin lisäksi tilanteita, joissa käyttäjän silmien liikkeistä voidaan muodostaa tietoa toisen toiminnon välityksellä.

Tästä tunnettu esimerkki on vuonna 2024 julkaistu GAZEploit-tutkimus, joka koski Apple Vision Prota. Tutkijat osoittivat, että käyttäjän Persona-virtuaalihahmon silmien liikkeitä analysoimalla pystyttiin päättelemään virtuaalinäppäimistöllä kirjoitettua sisältöä. Persona tarkoittaa tässä Vision Pron muodostamaa digitaalista esitystä käyttäjästä. Apple korjasi tutkijoiden ilmoittaman ongelman.

Tapauksen merkitys ulottuu yksittäistä ohjelmistovirhettä pidemmälle. Katseen liikkeistä muodostettua tietoa voi välittyä esimerkiksi virtuaalihahmon, jaetun näkymän tai muun toiminnon kautta. Katsetiedon suojaamisessa huomio kannattaa tämän vuoksi kohdistaa koko tiedonkäsittelyn ketjuun.

Luottamuksellisia työasioita, maksutietoja, salasanoja ja yksityisiä viestejä käsiteltäessä kannattaa tarkistaa samalla näytön jakaminen, virtuaalihahmot ja muut toiminnot, joiden kautta käyttäjän toiminta voi välittyä toisille.

Mitä sovellus voi saada tietää katseesta?

Silmien seuraaminen laitteen sisällä ja tiedon välittäminen sovellukselle ovat kaksi eri vaihetta. Tämä ero on yksi katseenseurannan yksityisyyden tärkeimmistä periaatteista.

Käyttöjärjestelmä voi käsitellä silmien tietoja laitteen sisällä ja käyttää niistä muodostettua katseen suuntaa käyttöliittymän ohjaamiseen. Sovellukselle voidaan tämän jälkeen välittää vain toiminnon kannalta tarvittava tieto.

Apple Vision Pro havainnollistaa periaatetta selkeästi. Applen mukaan visionOS käsittelee katseen liikkeitä järjestelmätasolla. Sovellukset ja verkkosivustot saavat tiedon käyttäjän tekemästä valinnasta, kun tämä vahvistaa sen käsieleellä.

Toisenlaisessa XR-sovelluksessa katsetiedon käyttäminen voi olla olennainen osa toimintoa. Tutkimussovellus voi tarvita tietoa huomion kohdistumisesta, saavutettavuustoiminto voi hyödyntää katsetta ohjaamiseen ja sosiaalinen sovellus voi käyttää silmien liikkeitä virtuaalihahmon katseen muodostamiseen.

Sovelluksen pyytämää käyttöoikeutta kannattaa arvioida neljän kysymyksen avulla: mitä tietoa sovellus tarvitsee, mihin sitä käytetään, tallentuuko tietoa ja kuinka pitkään sitä säilytetään?

Näin huomio kohdistuu katseenseurannan olemassaolon sijasta siihen, mitä tiedolle käytännössä tapahtuu.

Katseenseuranta lasten ja nuorten käytössä

Lasten ja nuorten kohdalla huomio kannattaa kohdistaa katseenseurannan käyttötarkoitukseen, sovellusten oikeuksiin ja tietojen säilyttämiseen.

Laitteen sisällä tapahtuva hetkellinen katseohjaus muodostaa erilaisen yksityisyystilanteen kuin sovellus, joka tallentaa katsetietoa, analysoi sitä pidemmältä ajalta tai yhdistää sitä käyttäjäprofiiliin.

Aikuisen on hyvä tarkistaa, millaisia oikeuksia lapsen tai nuoren käyttämille sovelluksille annetaan ja kuinka katseenseurantaa hallitaan laitteen asetuksista. Samalla lapselle tai nuorelle voidaan kertoa ymmärrettävästi, mitä silmien seuranta tekee ja mihin siitä muodostettua tietoa käytetään.

Jaetussa XR-laitteessa käyttäjän vaihtuminen tuo mukaan kalibroinnin ja käyttäjäkohtaisten tietojen hallinnan. Samsung ohjeistaa kalibroimaan Galaxy XR:n katseohjauksen uudelleen käyttäjän vaihtuessa. Apple Vision Pron vieraskäyttäjä puolestaan tekee oman silmien ja käsien käyttöönoton. Varsinaisen käyttäjän silmien ja käsien asetukset säilyvät erillään vieraskäyttäjän asetuksista.

Lasten ja nuorten XR-laitteiden ikärajoja, käyttöympäristöjä ja muita turvallisuuskysymyksiä käsitellään tarkemmin oppaassa Lasten ja nuorten VR- ja XR-lasit: mitä vanhemman kannattaa tietää?

Mitä katseenseurannan asetuksista kannattaa tarkistaa?

Katseenseurannan asetukset vaihtelevat laitteittain. Tarkistus kannattaa tehdä tiedonkäsittelyn näkökulmasta ja selvittää, mitä tietoa eri toiminnot käyttävät sekä millaiset mahdollisuudet käyttäjällä on hallita sitä.

Asetukset kannattaa tarkistaa uudelleen merkittävien järjestelmäpäivitysten jälkeen. Uusi toiminto voi tuoda katseenseurannalle uuden käyttötarkoituksen tai muuttaa sovelluksille tarjolla olevia oikeuksia.

Mitä katseenseurannasta kannattaa muistaa?

Katseenseurannan hyöty perustuu siihen, että silmien luonnollinen liike voidaan muuttaa laitteen käyttämäksi ohjaustiedoksi. Samalla tekniikalla voidaan kohdentaa kuvanpiirtoa, tukea saavutettavuutta ja joissakin laitteissa tunnistaa käyttäjä iiriksen perusteella.

Yksityisyyden kannalta keskeistä on tietojen erottaminen toisistaan. Silmien raakadata, siitä muodostettu katseen suunta, sovellukselle välitettävä tieto ja biometriseen tunnistautumiseen käytettävä iiristieto ovat eri tietoja ja palvelevat eri tarkoituksia.

Tämän erottelun jälkeen katseenseurannan arviointi muuttuu selkeämmäksi. Käyttäjä voi tarkastella, mitä tietoa yksittäinen toiminto tarvitsee, missä sitä käsitellään, kuinka pitkään sitä säilytetään ja millaiset mahdollisuudet hänellä on hallita tiedon käyttöä.

Hyvin toteutettu katseenseuranta yhdistää teknisen hyödyn ja tiedonhallinnan. Käyttäjä pystyy hyödyntämään katseohjausta samalla, kun tiedonkäsittelyn rajat ovat selkeitä ja asetukset löytyvät ymmärrettävästi.

XR-laitteen kameroiden, tilanseurannan ja ympäristöstä muodostettavan tiedon käsittelyä jatkaa opas Mitä XR-laite tietää huoneestasi?

Lisätietoja

Apple – Apple Vision Pro Privacy Overview — katseohjauksen, kalibroinnin ja sovellusten tiedonsaannin kuvaus.