30.3.5. Emergens viselkedés eltérítése

Az emergencia mint támadási felület

A többágensű rendszerek igazi ereje nem az egyes ágensek intelligenciájában rejlik, hanem a kollektív, emergens viselkedésükben. Gondolj egy hangyabolyra: egyetlen hangya viselkedése egyszerű szabályokon alapul („kövesd a feromont”, „ha ételt találsz, vigyél belőle a bolyba és hagyj nyomot”). Ezen egyszerű szabályokból áll össze a boly lenyűgözően komplex és hatékony táplálékszerző, építkező és védekező viselkedése. Ez az emergencia.

Támadóként a célpontod nem az egyes hangya (ágens), hanem a feromonnyom (kommunikációs csatorna, környezet) vagy az alapvető szabálykészlet. Ha sikeresen manipulálod ezeket, nem egyetlen ágenst térítesz el, hanem az egész kolónia viselkedését programozod át anélkül, hogy az egyes ágensek „tudnának” róla. Az emergens viselkedés eltérítése a rendszer saját logikájának fegyverként való felhasználása.

Eltérítési stratégiák: A láthatatlan kéz

Az ilyen típusú támadások a finomságra és a közvetett hatáson alapulnak. A cél egy minimális bemenettel maximális, kaszkádszerű hatást elérni.

Környezeti manipuláció

Az ágensek a környezetükből származó információk alapján döntenek. Ha a környezetet tudod manipulálni, az összes ágens döntéshozatalát befolyásolod egyszerre. Ez lehet egy közös adatbázis, egy API végpont által visszaadott adat, vagy akár a virtuális tér egy tulajdonsága.

• Példa: Egy autonóm járművekből álló flotta a központi térképszolgáltatástól kapja az útinformációkat. A támadó megmérgezi a térképadatbázist, és egy elkerülő utat „extrém torlódással” jelöl meg. Az összes jármű elkezdi elkerülni a tökéletesen járható utat, mesterséges torlódást okozva egy másik útvonalon. Az egyes autók helyesen cselekednek a kapott (hamis) információ alapján, de a flotta szintjén a viselkedés káros és irracionális.

Kezdeti feltételek megfertőzése („Patient Zero”)

Ez a stratégia egy vagy néhány ágens kezdeti állapotának vagy utasításainak finom módosításán alapul. Ezek a „nulladik páciens” ágensek az interakcióik során továbbadják a hibás viselkedési mintát, ami exponenciálisan terjedhet a rendszerben.

• Példa: Egy szimulált tőzsdei kereskedő ágensrendszerben a legtöbb ágens célja a profitmaximalizálás. A támadó bejuttat néhány ágenst, amelyeknek a rejtett célja egy bizonyos, értéktelen részvény árfolyamának felpumpálása (pump-and-dump séma). Ezek az ágensek elkezdenek vásárolni, ami megemeli az árat. A többi, „normális” ágens észleli a növekvő trendet, és a saját profitmaximalizáló logikájuk alapján szintén vásárolni kezd. Az emergens viselkedés egy spekulációs buborék, amit a támadó ágensei az általuk kívánt pillanatban kipukkasztanak az eladással.

Ösztönzők és jutalmazási függvények kihasználása

Sok rendszerben az ágensek viselkedését jutalmazási függvények (reward functions) irányítják. Ha találsz egy kiskaput a jutalmazási rendszerben, ráveheted az egész rendszert, hogy egy számodra előnyös, de a rendszer eredeti céljával ellentétes viselkedést optimalizáljon.

• Példa: Egy tartalomajánló rendszer ágenseinek célja a felhasználói elköteleződés (engagement) maximalizálása, amit kattintásokban és oldalon töltött időben mérnek. A támadó rájön, hogy a leghosszabb elköteleződést a szélsőséges, megosztó vagy álhíreket tartalmazó tartalmak váltják ki. Olyan tartalmakat kezd gyártani, amelyek tökéletesen kihasználják ezt a logikát. Az ágensek, követve a jutalmazási függvényüket, elkezdik ezeket a tartalmakat felkapni és terjeszteni, mert azok hozzák a legjobb „számokat”. Az emergens viselkedés a rendszer polarizálódása és a dezinformáció terjedése lesz.

Gyakorlati példa: A takarító robotok szabotálása

Képzelj el egy raktárt, ahol száz autonóm takarítórobot dolgozik. Mindegyik ugyanazt az egyszerű programot futtatja. Az emergens viselkedés egy tiszta raktár.

# Pszeudokód egy normál takarító ágens számára

class TakaritoAgens:
 def __init__(self):
 self.terkep = system.get_map()
 self.cel = None

 def ciklus():
 if self.nincs_cel():
 # Keressük a legközelebbi szemetet
 self.cel = self.terkep.legkozelebbi_szemet_keresese(self.pozicio)
 
 if self.cel_elerve():
 # Felvesszük a szemetet
 self.szemet_felvetele()
 # Új cél a legközelebbi lerakó
 self.cel = self.terkep.legkozelebbi_lerako_keresese(self.pozicio)
 
 # Mozgás a cél felé
 self.mozgas(self.cel)

A támadás a környezet manipulációján keresztül történik. Ahelyett, hogy egyenként törnék fel a robotokat, a támadó a központi térképszolgáltatást kompromittálja, és egyetlen apró dolgot változtat meg: a `legkozelebbi_lerako_keresese` függvény viselkedését.

# A támadó által módosított, mérgezett térképfüggvény
# Ez a függvény felülírja az eredetit a rendszerben

class MergezettTerkep(EredetiTerkep):
 def legkozelebbi_lerako_keresese(self, pozicio):
 # Az eredeti logika helyett...
 # ...mindig a raktár egyetlen, távoli pontját adja vissza.
 # Ez a pont lehet egy zsákutca vagy egy forgalmas folyosó közepe.
 return POZICIO(x=1, y=1) # A "halál sarka"

Az emergens hatás: Az összes robot továbbra is tökéletesen követi a saját logikáját. Felszedik a szemetet, majd elindulnak a „legközelebbi” lerakó felé. Mivel a rendszer mindegyiküknek ugyanazt a hamis pontot jelöli ki célként, az összes robot a raktár egyetlen pontjába kezd özönleni. Az eredmény egy masszív robottorlódás, teljes működési leállás és a takarítás teljes megbénulása. Egyetlen sor módosítása a megosztott környezetben a teljes rendszer összeomlását okozta.

Védekezési megfontolások

Az emergens viselkedés eltérítése elleni védekezés nem triviális, mert a támadás a rendszer szabályos működését használja ki.

• Rendszerszintű anomáliadetektálás: Ne csak az egyes ágensek viselkedését monitorozd, hanem a kollektíva viselkedési mintázatait is. A takarítórobotos példában egy ágens mozgása normális, de száz ágens mozgása egy pont felé egyértelmű anomália.
• Diverzitás és redundancia: Ha lehetséges, kerüljük a monokultúrát. Különböző logikával, különböző adatforrásokkal dolgozó ágens-alcsoportok létrehozása megnehezítheti a globális viselkedés eltérítését. Ha a robotok fele egy másik térképszervert használ, a támadás hatása feleződik.
• „Immunrendszer” ágensek: Olyan speciális ágensek bevezetése, amelyeknek explicit feladata a rendszer egészének monitorozása és a gyanús, nem optimális emergens mintázatok felismerése és jelentése.
• Robusztus konszenzus: A közös erőforrások (mint a térkép) módosítását tegyük függővé több, független forrásból származó megerősítéstől.

Végső soron a legfontosabb tanulság, hogy egy komplex rendszerben a legveszélyesebb sebezhetőségek nem feltétlenül nyilvánvaló hibák a kódban, hanem a rendszer alapvető működési szabályainak nem szándékolt következményei.