A jogszabályok kijelölik a játékszabályokat és a határokat, de ritkán mondják meg, hogyan kell pontosan játszani a pályán.
Erre a „hogyan”-ra adnak választ az ipari szabványok és keretrendszerek. Nem kötelező érvényű törvények, hanem szakmai konszenzuson alapuló legjobb gyakorlatok gyűjteményei, amelyek struktúrát és közös nyelvet adnak a fejlesztőknek, üzemeltetőknek és – ami számunkra a legfontosabb – a Red Teaming szakembereknek.
Két ilyen, a területet alapjaiban meghatározó keretrendszerrel ismerkedünk most meg.
Az ISO/IEC 23053: A gépi tanulás életciklusának keretrendszere
Az ISO/IEC 23053 szabvány, teljes nevén „Information technology — Artificial Intelligence — Framework for Artificial Intelligence (AI) Systems Using Machine Learning (ML)”, egy átfogó keretrendszer, amely a gépi tanulási rendszerek teljes életciklusát lefedi.
Elsőre talán nem tűnik direkt Red Teaming eszköznek, de valójában egy térképet ad a kezünkbe, amelyen bejelölhetjük a potenciális támadási pontokat és sebezhetőségeket.
A szabvány nem arról szól, „mit” tesztelj, hanem arról, „hol és mikor” érdemes keresgélni. Felvázolja az ML rendszerek fejlesztésének és üzemeltetésének ideális folyamatát, a koncepciótól a leselejtezésig. Ez a strukturált megközelítés segít megérteni a rendszer belső logikáját és az egyes fázisok közötti összefüggéseket.
Egy AI Red Teamer számára az ISO/IEC 23053 olyan, mint egy építészeti tervrajz egy biztonsági szakértőnek. Nem a zárakról szól, hanem a falak, ajtók és ablakok elhelyezkedéséről, ami elengedhetetlen a gyenge pontok feltárásához.
A szabvány az ML életciklust több kulcsfontosságú fázisra bontja. Red Teaming szempontból ezek mindegyike egy-egy potenciális „harcmező”:
A szabvány segít feltenni a megfelelő kérdéseket: Hogyan biztosították az adatok integritását? Milyen validációs metrikákat használtak? Dokumentálták a modell korlátait? Ezek a kérdések aranybányát jelentenek egy AI Red Teaming felmérés tervezésekor.
A NIST AI RMF: A kockázatkezelés amerikai megközelítése
Míg az ISO szabvány a folyamatokra fókuszál, az amerikai Nemzeti Szabványügyi és Technológiai Intézet (NIST) által kidolgozott AI Kockázatkezelési Keretrendszer (AI Risk Management Framework, RMF) a kockázatokra koncentrál. Ez egy sokkal direktebb, gyakorlatiasabb útmutató, amelynek célja, hogy segítse a szervezeteket a megbízható és felelős AI rendszerek tervezésében, fejlesztésében és használatában.
A NIST AI RMF nem kötelező érvényű, hanem önkéntes alapú eszköz, amely segít a szervezeteknek az AI-val kapcsolatos kockázatok kezelésében.
A keretrendszer négy alapvető funkció köré épül, amelyek együttesen egy folyamatos, iteratív ciklust alkotnak.
A NIST AI RMF négy alappillére
- Govern (Irányítás): A kockázatkezelési folyamatok kultúrájának és struktúrájának kialakítása. Ki a felelős? Milyen irányelvek mentén működünk? Itt dől el, hogy egy szervezet mennyire veszi komolyan az AI Red Teaminget.
- Map (Feltérképezés): A kontextus megértése és a potenciális kockázatok azonosítása. Milyen környezetben fog működni az AI? Kik az érintettek? Milyen károkat okozhat? A Red Teaming tervezési fázisa szorosan kapcsolódik ide.
- Measure (Mérés): A feltérképezett kockázatok elemzése és értékelése. Itt lép be a képbe a gyakorlati tesztelés, beleértve a Red Teaming gyakorlatokat is, amelyekkel felmérhető a modell ellenálló képessége.
- Manage (Kezelés): A mért kockázatok kezelésére szolgáló stratégiák kidolgozása és végrehajtása. A Red Teaming eredményei alapján itt határozzák meg a szükséges védelmi intézkedéseket, például a bemeneti szűrést vagy a modell finomhangolását.
Az AI Red Teaming tevékenység egyértelműen a Measure és Manage funkciók kulcsfontosságú eleme. A keretrendszer nem írja elő, hogy „kell” Red Teaminget végezni, de egyértelműen utal az olyan tesztelési és validációs eljárások szükségességére, amelyek feltárják a nem várt viselkedéseket és sebezhetőségeket – ami pontosan a mi szakterületünk.
Szabványok szintézise: Folyamat vs. Kockázat
A két keretrendszer nem versenytársa, hanem kiegészítője egymásnak. Míg az ISO szabvány a „hogyan építsük fel jól” kérdésre ad választ, a NIST RMF a „hogyan kezeljük a felmerülő problémákat” kérdésre fókuszál. Egy érett szervezet mindkettőt használja.
| Szempont | ISO/IEC 23053 | NIST AI RMF |
|---|---|---|
| Fókusz | ML rendszer életciklusának folyamata | AI-specifikus kockázatok kezelése |
| Hatókör | Technikai és szervezeti folyamatok | Kockázatalapú irányítás és döntéshozatal |
| Jelleg | Leíró, strukturáló | Előíró, cselekvésorientált |
| Red Teaming relevanciája | Implicit: A folyamat fázisaihoz kapcsolódó potenciális gyenge pontok azonosítása. | Explicit: A „Measure” (Mérés) funkció részeként a kockázatok felmérésének egyik kulcseszköze. |
Egy Red Teaming szakember számára ezek a szabványok nem csupán unalmas dokumentumok, hanem nélkülözhetetlen eszközök. Segítenek abban, hogy a munkánkat egy szélesebb körben elfogadott, strukturált keretbe illesszük, közös nyelvet beszéljünk a fejlesztőkkel és a döntéshozókkal, és végül hatékonyabban tárjuk fel és kommunikáljuk az AI rendszerek rejtett kockázatait.