33.1.3. Érintési gesztusok elemzése

2025.10.06.
AI Biztonság Blog

Az egérkurzor digitális lábnyomának elemzése után logikus lépés, hogy a legintimebb interakciós felületünkre, az érintőképernyőre fókuszáljunk. Míg az egérmozgás a szándék és a finommotorika távoli leképeződése, az érintés közvetlen, fizikai kontaktus. Ez a közvetlenség rengeteg új, egyedi biometrikus jellemzőt tár fel, amelyeket a modern MI-rendszerek kíméletlenül ki tudnak aknázni – és amelyeket neked, mint red teamernek, meg kell tanulnod manipulálni.

Kapcsolati űrlap

AI Biztonság kérdésed van? Itt elérsz minket:

Miért több egy érintés, mint egy egyszerű koordináta?

Az elsődleges félreértés az, hogy egy érintés csupán egy (x, y) pont a képernyőn. A valóságban egyetlen suhintás (swipe) vagy koppintás (tap) is egy komplex, időben lezajló eseménysorozat, tele biometrikus aranybányával. Gondolj a kézírásodra: nem csak a betűk végső formája azonosít téged, hanem a tollra gyakorolt nyomás, a vonalvezetés sebessége és a mozdulatok folyamatossága is. Ugyanez igaz az érintőképernyőn hagyott „digitális ujjlenyomatodra” is.

A hitelesítő rendszerek nem azt nézik, *hova* koppintasz, hanem azt, *hogyan*. Ezt a „hogyan”-t bontjuk most le apró, mérhető darabokra.

Milyen jellemzőket (feature) vizsgál egy MI-alapú rendszer?

Egyetlen suhintás (swipe) során a rendszer több tucat, vagy akár több száz adatpontot rögzít. Ezekből a nyers adatokból von ki az MI olyan statisztikai jellemzőket, amelyek együttesen alkotják a felhasználó viselkedési profilját. Nézzünk néhány kulcsfontosságú metrikát:

Metrika Leírás Red Teaming Relevancia
Nyomásintenzitás (Pressure) Az ujj által a képernyőre gyakorolt nyomás mértéke és annak időbeli változása. Nehezen utánozható. A generatív modelleknek a nyomásgörbét is szimulálniuk kell.
Érintési felület mérete (Size/Area) Az ujjbegy által lefedett terület nagysága és alakja. Függ a tartási szögtől és az ujj anatómiájától. Viszonylag stabil, de zajos jellemző.
Gesztus sebessége és gyorsulása A mozdulat átlag- és csúcssebessége, valamint a gyorsulási/lassulási profil. A felhasználóra jellemző „ritmus”. Replay támadásoknál kulcsfontosságú a pontos időzítés.
Trajektória görbülete (Path Curvature) Mennyire tér el a mozdulat pályája a két végpont közötti egyenestől. Az emberi mozgás sosem tökéletesen egyenes. Ennek a „tökéletlenségnek” a mintázata egyedi.
Kezdeti és végső pontok stabilitása Mennyire pontosan és határozottan indul és fejeződik be a mozdulat. A bizonytalanság (remegés) a mozdulat elején vagy végén szintén egyedi jel lehet.
Időbeli jellemzők (Timestamps) A gesztus teljes időtartama, a nyomáscsúcsok időpontja stb. Kritikus a replay támadások leleplezésében. A hálózati késleltetés manipulálható.
Érintési gesztus (Swipe) elemzése Ideális trajektória Valós trajektória Kezdőpont (x₀, y₀, p₀, t₀) Végpont (x₁, y₁, p₁, t₁) Görbület/Eltérés

Hogyan áll össze ebből egy támadható modell?

A folyamat a szokásos MI pipeline-t követi: adatgyűjtés (enrollment), jellemzőkinyerés (feature extraction) és modelltanítás. A red teamer számára a sebezhetőségek is ezen lépések mentén jelennek meg.

  1. Adatgyűjtés: A felhasználótól több minta (pl. 10-15 swipe) begyűjtése során jön létre a referencia profil (template). Támadási vektor: Template poisoning. Ha a regisztrációs folyamat során manipulált adatokat tudsz beinjektálni, az egész modell kompromittálódik.
  2. Jellemzőkinyerés: A nyers adatfolyamból (koordináták, időbélyegek, nyomásértékek) a rendszer kiszámolja a fentebb említett statisztikai metrikákat. Ez egy dimenziócsökkentés, ami egy komplex mozdulatot egyetlen vektorba sűrít.
  3. Modelltanítás: A kinyert jellemzővektorok alapján egy osztályozó (pl. SVM, Random Forest) vagy egy valószínűségi modell (pl. Gaussian Mixture Model) tanulja meg a felhasználó „normális” viselkedésének határait.

Itt egy pszeudokód, ami bemutatja, hogyan alakul át a nyers érintési események sorozata egyetlen jellemzővektorrá:

function kivonatolo(erintesi_esemenyek) {
 // erintesi_esemenyek: lista objektumokból {x, y, nyomas, ido}

 let teljes_ido = utolso(erintesi_esemenyek).ido - elso(erintesi_esemenyek).ido;
 let teljes_tavolsag = szamol_tavolsag(erintesi_esemenyek);
 let atlag_sebesseg = teljes_tavolsag / teljes_ido;

 let nyomas_ertekek = erintesi_esemenyek.map(e => e.nyomas);
 let atlag_nyomas = atlag(nyomas_ertekek);
 let max_nyomas = max(nyomas_ertekek);

 let gorbulet = szamol_gorbulet(erintesi_esemenyek);
 
 // Ez a vektor megy a gépi tanulási modellbe
 return [
 teljes_ido,
 atlag_sebesseg,
 atlag_nyomas,
 max_nyomas,
 gorbulet
 // ... és még sok más jellemző
 ];
}

Red Teaming szemszög: Hol a hiba a mátrixban?

Az érintésalapú biometria, bár robusztusnak tűnik, több sebből is vérzik. A te feladatod ezeket a sebeket megtalálni és kihasználni.

  • Replay támadások: A legnyilvánvalóbb támadás. Ha sikerül rögzítened egy legitim felhasználó nyers érintési adatfolyamát (pl. egy kompromittált appon keresztül), megpróbálhatod azt visszajátszani. A védelem ez ellen a rendkívül precíz időbélyegek és a környezeti zaj elemzése (pl. a gyorsulásmérő adatai). A támadás sikere azon múlik, mennyire „tisztán” tudod visszajátszani az adatokat.
  • Generatív MI-alapú támadások: Ez a kifinomultabb megközelítés. Nem egyetlen rögzített mintát játszol vissza, hanem egy generatív modellt (pl. GAN vagy VAE) tanítasz be a felhasználó rögzített gesztusaira. A modell ezután képes végtelen számú, a célpontéra statisztikailag kísértetiesen hasonlító, de mégis egyedi gesztust generálni. Ez sokkal nehezebben detektálható, mint egy sima replay támadás.
  • Statisztikai támadások (Hill-climbing): Ha a rendszer visszajelez arról, hogy egy hitelesítési kísérlet mennyire „állt közel” a sikerhez (pl. egy pontszám formájában), akkor iteratív módon, apró változtatásokkal közelíthetsz a sikeres hitelesítést jelentő jellemzővektorhoz. Ez egy klasszikus „oracle” típusú sebezhetőség.
  • Környezeti és fizikai manipuláció: A rendszer érzékenysége kihasználható. Mi történik, ha a felhasználó kesztyűt visel? Vagy ha vizes a keze? Esetleg ha egy képernyővédő fólia megváltoztatja a nyomásérzékelés dinamikáját? Ezek a fizikai tényezők zajt visznek a rendszerbe, amit kihasználva esetleg lazább biztonsági beállításokat lehet elérni vagy akár teljesen megkerülni a védelmet.

Az érintési gesztusok elemzése egy folyamatos fegyverkezési verseny. A védők egyre több és komplexebb jellemzőt vonnak be az elemzésbe (pl. a telefon giroszkópjának adatait), a támadók pedig egyre kifinomultabb generatív modellekkel próbálják ezeket a mintázatokat utánozni. A te szereped ebben a játszmában az, hogy mindig egy lépéssel a modellek előtt járj, és megértsd, hol húzódnak a digitális és a fizikai valóság közötti határok – mert a sebezhetőségek gyakran pontosan itt rejtőznek.