Az AI és a kiberbiztonság területét nem csupán technológiák és protokollok, hanem számos szervezet, intézmény és konzorcium is formálja. Munkájuk szabványokat teremt, kutatásokat finanszíroz, és iránymutatást ad, ami közvetlenül befolyásolja a red teaming tevékenységeket. Az alábbi táblázat a legfontosabbakat foglalja össze, kiemelve a te szempontodból lényeges relevanciájukat.
| Rövidítés | Teljes Név | Relevancia az AI Red Teaming Számára |
|---|---|---|
| AISI | AI Safety Institute | Az Egyesült Királyság és az USA által is működtetett intézetek, amelyek a fejlett AI modellek (ún. „frontier models”) biztonsági értékelésére szakosodtak. Munkájuk, kutatásaik és értékelési módszereik közvetlen forrásként szolgálnak a legmodernebb modellek elleni red teaming technikákhoz. |
| CISA | Cybersecurity and Infrastructure Security Agency | Az USA kiberbiztonsági és infrastruktúra-védelmi ügynöksége. Iránymutatásokat, riasztásokat és legjobb gyakorlatokat tesznek közzé, beleértve az AI-rendszerek biztonságát érintő fenyegetéseket is. A CISA anyagai segítenek a valós fenyegetettségi aktorok viselkedésének modellezésében. |
| DARPA | Defense Advanced Research Projects Agency | Az USA Védelmi Minisztériumának kutatás-fejlesztési ügynöksége. Számos, a mesterséges intelligencia és az adverzárius ML területén úttörő kutatási programot finanszíroznak (pl. GARD). A DARPA projektjeinek követése betekintést nyújt a jövőbeli támadási és védelmi technológiákba. |
| ENISA | European Union Agency for Cybersecurity | Az Európai Unió Kiberbiztonsági Ügynöksége. Jelentős szerepet játszik az EU kiberbiztonsági politikájának alakításában, beleértve az AI-ra vonatkozó szabályozásokat (pl. AI Act). Az ENISA által kiadott keretrendszerek és ajánlások meghatározóak az európai piacra szánt AI-termékek tesztelésekor. |
| ISO | International Organization for Standardization | Nemzetközi Szabványügyi Szervezet. Bár nem AI-specifikus, az olyan szabványok, mint az ISO/IEC 27001 (információbiztonsági irányítási rendszerek) vagy az ISO/IEC 42001 (AI irányítási rendszerek), gyakran adják meg azt a keretet, amelyen belül egy szervezet AI biztonsággal foglalkozik. Egy red team megbízás során ezeknek a szabványoknak való megfelelés értékelése is feladat lehet. |
| MITRE | The MITRE Corporation | Egy amerikai non-profit szervezet, amely a közérdeket szolgáló kutatásokat végez. Legismertebb munkáik az ATT&CK® (Adversarial Tactics, Techniques, and Common Knowledge) keretrendszer, valamint annak AI-specifikus kiterjesztése, az ATLAS™ (Adversarial Threat Landscape for Artificial-Intelligence Systems). Ezek alapvető eszközök a támadási forgatókönyvek modellezéséhez. |
| NIST | National Institute of Standards and Technology | Az USA Nemzeti Szabványügyi és Technológiai Intézete. Olyan kulcsfontosságú dokumentumokat publikálnak, mint a Cybersecurity Framework (CSF) és az AI Risk Management Framework (AI RMF). Ezek a keretrendszerek de facto szabványokká váltak az AI-kockázatok kezelésében, és a red teaming tevékenységek tervezéséhez is kiváló alapot nyújtanak. |
| OWASP | Open Web Application Security Project | Globális non-profit szervezet, amely a szoftverbiztonság javítására összpontosít. Bár eredetileg webalkalmazásokkal foglalkoztak, az „OWASP Top 10 for Large Language Model Applications” projektjük az egyik legfontosabb referencia az LLM-alapú rendszerek sebezhetőségeinek feltárásához. |
| PAI | Partnership on AI | Iparági konzorcium, amelynek tagjai a legnagyobb technológiai cégek és kutatóintézetek. A felelős AI fejlesztésére és bevezetésére vonatkozó legjobb gyakorlatokat dolgoznak ki. Munkájuk segít megérteni az iparági konszenzust a biztonsági és etikai kérdésekben. |
Ez a lista nem teljes, de a benne szereplő szervezetek munkásságának ismerete elengedhetetlen a tájékozott és hatékony AI red teaming műveletek tervezéséhez és végrehajtásához. Publikációik, keretrendszereik és kutatási eredményeik naprakész tudást és strukturált megközelítést biztosítanak a legújabb AI-rendszerek teszteléséhez.