20.3.2. Ellenséges felejtés

Mi az az ellenséges felejtés?

Az ellenséges felejtés (adversarial unlearning), vagy precízebben a gépi felejtés (machine unlearning), az a folyamat, amelynek során egy már betanított modellt úgy módosítunk, hogy az szelektíven „elfelejtse” egy adott adatpont vagy adathalmaz hatását. A cél az, hogy a módosított modell úgy viselkedjen, mintha az adott adatot soha nem is látta volna a tanítási fázisban, mindezt anélkül, hogy a teljes modellt újra kellene tanítani az alapoktól.

Miért van erre szükség? A két leggyakoribb ok:

• Adatvédelmi megfelelés: A GDPR és hasonló szabályozások „felejtéshez való joga” megköveteli, hogy a felhasználók kérhessék adataik törlését. Ha ezek az adatok egy modell tanítására lettek felhasználva, akkor azok hatását is el kell tudni távolítani.
• Védekezés adat-mérgezés ellen: Ha egy Red Team vagy egy rosszindulatú támadó sikeresen mérgezett adatokat juttat a tanító adathalmazba, a felejtési mechanizmusok lehetővé teszik ezen káros adatok hatásának semlegesítését anélkül, hogy a több milliárd dolláros modellt napokra vagy hetekre le kellene állítani egy teljes újratanítás miatt.

A kihívás óriási. A naiv megközelítés – az adatpont eltávolítása és a teljes modell újratanítása – a mai alapmodellek (Foundation Models) méreténél már gazdaságilag és időben is kivitelezhetetlen. Ezért a kutatás olyan hatékony módszerekre fókuszál, amelyek közelítő megoldást nyújtanak.

Fő megközelítések és technikák

A gépi felejtés aktív kutatási terület, de néhány alapvető technika már kirajzolódott. Ezek hatékonyságban, számítási igényben és a „felejtés” pontosságában térnek el egymástól.

Finomhangolás és gradiens-alapú módszerek

Ez a megközelítés ahelyett, hogy teljesen újratanítaná a modellt, megpróbálja „visszacsinálni” a tanulást. Ahelyett, hogy a felejtendő adaton minimalizálná a veszteséget (ahogy a normál tanítás során tenné), pont az ellenkezőjét teszi: maximalizálja azt. Ez a folyamat, amit néha „anti-tanulásnak” is neveznek, a modell súlyait abba az irányba tolja el, mintha sosem találkozott volna az adott információval.

# Pszeudokód az ellenséges felejtésre gradiens-alapú módszerrel

# 1. Definiáljuk a felejtendő adatot (D_forget)
D_forget = load_data_to_forget()

# 2. Számoljuk ki a veszteséget ezen az adaton
loss_on_forget_data = model.calculate_loss(D_forget)

# 3. A szokásos minimalizálás (gradiens ereszkedés) helyett
# MAXIMALIZÁLJUK a veszteséget ezen az adaton (gradiens emelkedés).
# Ezzel "eltoljuk" a modellt az adatok ismeretétől.
for step in range(unlearning_steps):
 gradients = calculate_gradients(loss_on_forget_data)
 # A kulcslépés: a súlyok frissítése az ellenkező irányba
 # A veszteség növelése egyenértékű a negatív veszteség csökkentésével.
 model.weights = update_weights_with_ascent(model.weights, gradients)

# 4. (Opcionális) Finomhangolás a maradék adaton a teljesítmény megőrzéséért
model.fine_tune(D_retain)

• Előny: Gyorsabb, mint a teljes újratanítás. 
• Hátrány: Nem garantálja a tökéletes felejtést, és ronthatja a modell általános teljesítményét, ha nem végzik óvatosan (ezt nevezzük katasztrofális felejtésnek).

Adatparticionálás és „sokaság” modellek (Sharded/Ensemble Models)

Ez egy okos architekturális megoldás. Ahelyett, hogy egyetlen monolitikus modellt tanítanánk a teljes adathalmazon, az adatokat több, egymást át nem fedő részre (shard) osztjuk. Minden egyes részhalmazon egy külön, kisebb modellt tanítunk. A végső predikciót ezeknek a modelleknek a „szavazata” adja (ensemble method).

Ha egy adatpontot el kell felejteni, egyszerűen azonosítjuk, hogy melyik adat-részhalmazban volt, és csak azt az egy kisebb modellt tanítjuk újra a módosított adathalmazon. A többi modell érintetlen marad.

• Előny: Garantált, tiszta felejtést biztosít az adott szegmensben. 
• Hátrány: A modell predikciós teljesítménye általában gyengébb, mint egy monolitikus modellé, és a rendszer komplexitása megnő.

AI Red Teaming implikációk

Az ellenséges felejtés új, izgalmas támadási és tesztelési felületet nyit meg az AI Red Teamerek számára. A cél nemcsak az, hogy kijátsszuk a modellt, hanem hogy teszteljük a védelmi mechanizmusainak, így a felejtési képességének a robusztusságát is.

• „Szellem a gépben” tesztek: Miután egy szervezet azt állítja, hogy egy adatpontot „elfelejtettek”, az AI Red Team feladata, hogy olyan promtokat tervezzen, amelyek megpróbálják előcsalogatni az „elfelejtett” információ maradványait.
  Sikerülhet-e a modellt rávenni, hogy utaljon az adatra, vagy olyan stílusban generáljon, ami a felejtett adathalmazra volt jellemző?
• Teljesítményromlás-analízis: A felejtési folyamat nemkívánatos mellékhatásokat okozhat. Az AI Red Team feladata, hogy megvizsgálja, a felejtés nem hozott-e létre új sebezhetőségeket, nem rontotta-e le drasztikusan a modell képességeit egy adott területen, vagy nem tette-e fogékonyabbá más típusú támadásokra (pl. jailbreaking).
• Felejtési mechanizmusok túlterhelése: Mi történik, ha egy támadó nagy mennyiségű, stratégiailag elhelyezett adatpont felejtését kéri egyszerre? Összeomlik-e a rendszer? Olyan mértékben leromlik a modell teljesítménye, hogy használhatatlanná válik? Ez egyfajta rendelkezésre állás elleni (denial-of-service) támadás a modell integritása ellen.

Az ellenséges felejtés tehát nem csupán egy adatvédelmi funkció, hanem egy kritikus védelmi vonal. Ahogy az öngyógyító modelleknél, itt is a dinamikus védekezés egyik formájával állunk szemben.
A jövő AI Red Team feladatai között egyre gyakrabban szerepel majd annak ellenőrzése, hogy a modell nemcsak tanulni, hanem felejteni is képes-e – hatékonyan és biztonságosan.