8.3.3. Megfigyelő rendszerek megkerülése

2025.10.06.
AI Biztonság Blog

Miután megvizsgáltuk, hogyan lehet manipulálni egy rendszer értelmezését egy adott cselekvésről, egy lépéssel tovább megyünk. Mi történik, ha a cél nem a félreértelmezés, hanem a teljes észrevétlenség? A modern megfigyelő rendszerek nem csupán egyetlen modellt használnak; ezek komplex, lépcsőzetes folyamatok. Egy AI Red Teamer számára ez a komplexitás nem akadály, hanem egy térkép a sebezhetőségekhez.

Kapcsolati űrlap

AI Biztonság kérdésed van? Itt elérsz minket:

A megfigyelő rendszer anatómiája: Hol a támadási felület?

Mielőtt bármit megkerülnénk, meg kell értenünk, hogyan működik. Egy tipikus, videóalapú megfigyelő rendszer több, egymásra épülő komponensből áll. A lánc bármelyik elemének megtörése a teljes rendszer kudarcához vezethet. A Red Teaming feladata pontosan ezeknek a gyenge láncszemeknek a felkutatása! 

Szenzor (Kamera) Objektumdetekció Követés (Tracking) Azonosítás/ Cselekvésfelismerés

Egy egyszerűsített megfigyelési folyamat. A támadás bármelyik szakaszban indítható.

A támadások három fő kategóriába sorolhatók aszerint, hogy a lánc melyik elemét célozzák:

  • Detekció megkerülése: A cél, hogy az objektumdetektor (pl. YOLO, Faster R-CNN) egyáltalán ne vegye észre a releváns objektumot (személyt, járművet). Ha nincs detekció, a lánc többi eleme soha nem is aktiválódik.
  • Követés megszakítása: Itt a detekció sikeres, de a cél az, hogy a rendszer elveszítse a fonalat a képkockák között. A tracker nem tudja ugyanahhoz az egyedi azonosítóhoz (ID) kötni az objektumot a különböző időpillanatokban, ami „széttöri” az eseményt.
  • Azonosítás/Osztályozás manipulálása: A rendszer detektál és követ, de a végső lépésben téves következtetésre jut. Például egy adott személyt másvalakiként azonosít, vagy egy gyanús cselekvést ártalmatlannak minősít (ezt a témát a 8.3.2 fejezet részletesebben tárgyalta).

Fizikai ellenséges példák: A viselhető támadás

A megfigyelő rendszerek elleni támadások leglátványosabb formája a fizikai világban manifesztálódik. Ezek nem digitális zajok, hanem valós tárgyak – ruhadarabok, matricák –, amelyeket úgy terveztek, hogy összezavarják a modelleket.

Detekció elkerülése mintázatokkal

A legismertebb technika az ún. „adversarial patch” vagy ellenséges mintázat. Ez egy olyan, gondosan megtervezett kép (pl. egy pólóra nyomtatva), amelynek célja, hogy maximalizálja az objektumdetektor veszteségfüggvényét, konkrétan a „nincs objektum” kategória valószínűségét.

Gondolj bele: a detektorok, mint a YOLO, egy rácsra osztják a képet, és minden cellában keresnek objektumokat. A mintázat úgy van optimalizálva, hogy a detektor „figyelmét” elterelje, és a személyhez tartozó bounding box konfidenciaértékét a detektálási küszöb alá nyomja. A gyakorlatban ez azt jelenti, hogy a rendszert viselő személy „láthatatlanná” válik a rendszer számára.


# Pszeudokód egy ellenséges mintázat generálásához

# Cél: Minimalizálni egy személy detekciós valószínűségét

mintázat = random_zaj_inicializálása(méret=(128, 128))
tanulási_ráta = 0.01

# Optimalizációs ciklus
for i in range(iterációk_száma):
 # 1. Készíts egy tesztképet: helyezd a mintázatot egy személy képére
 teszt_kép = háttér_kép.másolat()
 teszt_kép = ráhelyez(teszt_kép, mintázat, pozíció="mellkas")
 
 # 2. Transzformációk a robusztusságért (forgatás, méretezés, stb.)
 transzformált_kép = alkalmaz_transzformációk(teszt_kép)
 
 # 3. Futtasd a detektoron
 detekciók = yolo_modell(transzformált_kép)
 
 # 4. Számítsd ki a veszteséget: a cél, hogy ne legyen "személy" detekció
 # A veszteség akkor alacsony, ha a "person" osztály konfidenciája magas.
 # Ezt akarjuk maximalizálni, tehát a negatívját minimalizáljuk.
 veszteség = -1 * get_person_confidence(detekciók)
 
 # 5. Számítsd ki a gradienseket a mintázat pixeleire nézve
 gradiens = számol_gradiens(veszteség, mintázat)
 
 # 6. Frissítsd a mintázatot a gradiens alapján
 mintázat -= tanulási_ráta * gradiens
 
 # 7. Biztosítsd, hogy a pixelek érvényes tartományban maradjanak
 mintázat = clip_értékek(mintázat, min=0, max=255)

# Az optimalizált `mintázat` most már használható a detektor megzavarására

A követés megszakítása: Az időbeli dimenzió fegyvere

Egy fejlettebb támadás nem a detekciót, hanem a követést (tracking) célozza. A legtöbb rendszer a detektált objektumokhoz egyedi azonosítót rendel, és ezt próbálja fenntartani a képkockák során. Ezt a folyamatot zavarhatjuk meg.

A támadás célja az ID-váltás (ID-switch) kikényszerítése. Ha egy személy követési azonosítója folyamatosan változik, a rendszer számára úgy tűnhet, mintha sok különböző, rövid ideig látható személy jelenne meg, ahelyett, hogy egyetlen személy haladna végig a színen. Ezzel meghiúsítható a hosszabb távú viselkedéselemzés vagy a személyek útvonalának rekonstrukciója.

Hogyan érhető el az ID-váltás?

  • Rövid idejű elrejtőzés: Ha a célpont rövid időre kikerül a kamera látóteréből (pl. egy oszlop mögé lép), majd újra megjelenik, a trackernek újra kell azonosítania. Ha a megjelenéskor a vizuális jellemzők (pl. a ruházat színe) enyhén megváltoznak egy ellenséges mintázat aktiválásával/deaktiválásával, a tracker új ID-t rendelhet hozzá.
  • Hasonlóság megtévesztése: A trackerek gyakran vizuális hasonlóság (pl. szín hisztogram, mélytanulásos embedding) alapján kapcsolják össze a detekciókat. Egy olyan mintázat, ami egy másik, közeli személy embeddingjéhez teszi hasonlóvá a viselőjét, „ellophatja” annak a követési azonosítóját (ezt nevezik „track hijacking”-nek).

Védekezési megfontolások a Red Teamer szemszögéből

A Red Teamer feladata nemcsak a támadás, hanem a lehetséges védelmi stratégiák feltérképezése is. Hogyan lehet ezeket a támadásokat detektálni vagy kivédeni?

Támadási Vektor Lehetséges Védelmi Stratégia Magyarázat
Detekció megkerülése (Adversarial Patch) Ellenséges tréning (Adversarial Training) A detektort nemcsak normál, hanem generált ellenséges példákon is tanítják, hogy megtanulja figyelmen kívül hagyni a zavaró mintázatokat.
Detekció megkerülése Bemeneti transzformációk A bemeneti képen végzett műveletek (pl. JPEG kompresszió, enyhe elmosás, átméretezés) tönkretehetik az ellenséges mintázat finom struktúráját.
Követés megszakítása (ID-Switch) Robusztusabb követési metrikák A vizuális hasonlóság mellett a mozgás-predikció (pl. Kalman-szűrő) és a helyzeti információk erősebb súlyozása segíthet fenntartani a helyes ID-t.
Általános Modell-együttesek (Ensembles) Több, különböző architektúrájú vagy különböző adatokon tanított modell használata. Egy mintázat, ami az egyik modellt becsapja, nem biztos, hogy a másikat is képes.

A megfigyelő rendszerek megkerülése egy macska-egér játék. Ahogy a támadási technikák fejlődnek, úgy válnak egyre szofisztikáltabbá a védelmi mechanizmusok is. Egy sikeres Red Team művelet feltárja azokat a pontokat, ahol a rendszer jelenleg a legsebezhetőbb, lehetőséget adva a védelem proaktív megerősítésére.