Míg az ISO/IEC szabványok a „mit” kérdésére adnak formális, tanúsítható válaszokat, az amerikai Nemzeti Szabványügyi és Technológiai Intézet (NIST) inkább a „hogyan” gyakorlati oldalát közelíti meg. A NIST nem kötelező érvényű szabványokat, hanem önkéntesen alkalmazható, rugalmas keretrendszereket és útmutatókat publikál, amelyek célja a kockázatok kezelése és egy közös szakmai nyelv megteremtése. Az AI Red Teaming számára a NIST két kulcsfontosságú dokumentumot tett le az asztalra.
A NIST AI Kockázatkezelési Keretrendszer (AI RMF 1.0)
Az AI RMF (Artificial Intelligence Risk Management Framework) egy strukturált, mégis adaptálható útmutató, amely segít a szervezeteknek az AI-val kapcsolatos kockázatok azonosításában, felmérésében, kezelésében és kommunikációjában. Nem egy merev ellenőrzőlista, hanem egy gondolkodásmód, amely a megbízható és felelős AI rendszerek fejlesztését és üzemeltetését támogatja. A keretrendszer négy alapvető funkció köré épül, amelyek egy folyamatos ciklust alkotnak.
- Govern (Irányítás): Ez a stratégiai réteg. Itt határozzák meg a kockázatkezelési kultúrát, a szerepköröket, felelősségeket és a szervezet kockázati étvágyát. Egy red teamer számára ez adja a kontextust: milyen típusú kockázatokra érzékeny a cég? Mi számít elfogadhatatlan kárnak?
- Map (Feltérképezés): A kontextus megértése. Itt azonosítjuk az AI rendszereket, meghatározzuk a képességeiket, a céljaikat, a korlátaikat és az érintetteket. A red teaming megbízások scope-jának (hatókörének) meghatározása szorosan kapcsolódik ehhez a fázishoz.
- Measure (Mérés): A kvalitatív és kvantitatív elemzés fázisa. Itt történik a tesztelés, értékelés, a sebezhetőségek felderítése és a lehetséges károk felmérése. A red teaming tevékenységek zöme – a támadási forgatókönyvek végrehajtása, a modellek törése – ebbe a funkcióba illeszkedik.
- Manage (Kezelés): A feltárt kockázatok kezelése. A mérés eredményei alapján itt dönt a szervezet a kockázatok priorizálásáról és a megfelelő ellenintézkedések (pl. elfogadás, elkerülés, átruházás, mérséklés) bevezetéséről. A red team jelentései közvetlenül táplálják ezt a folyamatot.
Támadási Taxonómia: A NISTIR 8269
Míg az AI RMF a magas szintű kockázatkezelési folyamatot vázolja, a NIST Interagency Report 8269: A Taxonomy and Terminology of Adversarial Machine Learning a konkrét támadások közös nevezőre hozására fókuszál. A célja egy egységes szótár létrehozása, amely segít a kutatóknak, fejlesztőknek és biztonsági szakembereknek egy nyelvet beszélni, amikor az AI modelleket érő támadásokról van szó. Ez a red teamer számára elengedhetetlen, hiszen precíz és félreérthetetlen jelentéseket kell készítenie.
| Fogalom | Magyar Leírás | Példa a Red Teamingben |
|---|---|---|
| Evasion (Kikerülés) | A támadó a modell bemenetét manipulálja a támadás idején (inferencia fázisban), hogy hibás kimenetet provokáljon. | Egy képfelismerő rendszernek beadott stop tábla képét minimálisan módosítjuk (pl. néhány matrica felragasztásával), hogy a rendszer sebességkorlátozó táblának érzékelje. |
| Poisoning (Mérgezés) | A támadó a modell tanítási adathalmazát manipulálja, hogy rejtett hátsó kapukat (backdoor) vagy sebezhetőségeket hozzon létre a kész modellben. | Egy arcfelismerő rendszer tanító adatai közé olyan képeket csempészünk, ahol egy bizonyos típusú szemüveget viselő személyeket mindig „adminisztrátorként” címkézünk fel. |
| Privacy Attack (Adatvédelmi támadás) | A támadó a modell lekérdezésével próbál bizalmas információkat kinyerni a tanítási adatokból. Altípusai pl. a Membership Inference vagy a Model Inversion. | Egy nyelvi modell (LLM) kimeneteinek elemzésével megpróbáljuk rekonstruálni azokat a személyes adatokat (nevek, email címek), amelyeken a modellt tanították. |
| Abuse (Visszaélés) | A támadó a modellt nem a rendeltetésének megfelelően, hanem rosszindulatú célokra használja fel, anélkül, hogy magát a modellt manipulálná. | Egy képalkotó AI segítségével nagy mennyiségben generálunk meggyőző, de hamis profilképeket egy dezinformációs kampányhoz használt bot-hálózathoz. |
Hogyan illeszkednek a NIST keretrendszerek a Red Teaming munkába?
A két keretrendszer nem versenytársa, hanem kiegészítője egymásnak és más, specifikusabb keretrendszereknek, mint a MITRE ATLAS. A gyakorlatban a NIST adja a stratégiai „miértet” és a közös nyelvet, míg más eszközök a taktikai „hogyan”-t.
Egy tipikus red teaming megbízás során a folyamat így nézhet ki:
- Tervezés: Az AI RMF `Map` funkciójának elvei alapján meghatározzuk a tesztelendő AI rendszer határait, kontextusát és a lehetséges negatív hatásokat. Ez segít a támadási forgatókönyvek priorizálásában.
- Végrehajtás: A támadások során azonosított technikákat a NISTIR 8269 taxonómiája szerint osztályozzuk. Például egy végrehajtott támadás nem csak „a modellt vertük át”, hanem egy precízen definiált „Evasion támadás a rendelkezésre állás ellen, fehér dobozos hozzáféréssel”.
- Jelentéskészítés: A jelentésben a feltárt sebezhetőségeket a NIST taxonómiájával írjuk le, a javasolt ellenintézkedéseket pedig az AI RMF `Manage` funkciójához kötjük. Ezáltal a technikai lelet közvetlenül becsatornázható a szervezet kockázatkezelési folyamataiba.
# Pszeudokód: Egy lelet dokumentálása NIST terminológiával
lelet = {
"azonosító": "AIRT-2024-012",
"célrendszer": "Hitelbírálati Modell v3.2",
"támadás_típus": "Evasion (Kikerülés)", # NISTIR 8269 terminológia
"támadó_célja": "Misclassification (Téves osztályozás)",
"technika_leírása": "A hitelkérelmi adatok minimális, logikusnak tűnő módosításával a modellt rá lehet venni, hogy magas kockázatú ügyfelet alacsony kockázatúnak minősítsen.",
"kockázati_kapcsolat": "AI RMF - Measure & Manage", # AI RMF hivatkozás
"javaslat": "Bemeneti adatok validálásának szigorítása és adverzárius tréning alkalmazása a modell robusztusságának növelésére."
}Összegzés
A NIST keretrendszerei hidat képeznek a technikai AI biztonság és a szervezeti szintű kockázatkezelés között. Nem adnak konkrét támadási parancsokat, de megadják azt a strukturált gondolkodásmódot és közös nyelvet, amely elengedhetetlen ahhoz, hogy a red teaming eredményei valódi, mérhető és kezelhető üzleti értékké váljanak.