A mesterséges intelligencia és a kiberbiztonság metszete egy sajátos nyelvet hozott létre. Ez a szószedet segít dekódolni a leggyakoribb rövidítéseket és zsargonkifejezéseket, amelyekkel nap mint nap találkozhatsz a terepen. Nem egy teljeskörű lexikon, hanem egy harctéri gyorstalpaló, ami a red team műveletek során leggyakrabban előforduló fogalmakra fókuszál.
Modellekkel és Tanítással Kapcsolatos Kifejezések
| Rövidítés / Zsargon | Angol Megfelelő | Magyarázat Red Teaming Kontextusban |
|---|---|---|
| LLM | Large Language Model | Nagy nyelvi modell. Transzformer architektúrára épülő, hatalmas szöveges adathalmazon tanított AI. A modern AI Red Teaming elsődleges célpontja; sebezhetőségei (pl. prompt injection, adatszivárgás) központi szerepet játszanak. |
| SLM | Small(er) Language Model | Kisebb nyelvi modell. Kevesebb paraméterrel és kisebb adathalmazon tanított, specifikusabb feladatokra optimalizált modell. Gyakran használják beágyazott rendszerekben vagy specializált ügynökökben, ami eltérő támadási vektorokat nyit meg. |
| MoE | Mixture of Experts | Szakértők keveréke. Olyan modellarchitektúra, ahol több, specializált „szakértő” alhálózat működik együtt. A támadások irányulhatnak egy-egy specifikus szakértő manipulálására vagy a közöttük lévő „routing” mechanizmus megtévesztésére. |
| RAG | Retrieval-Augmented Generation | Kibővített generálás visszakereséssel. Technika, ahol a modell egy külső tudásbázisból (pl. adatbázis) kér le releváns információkat a válasz generálása előtt. Támadási felülete a tudásbázis (pl. adatbázis-injekció) és a visszakeresési folyamat manipulálása. |
| RLHF | Reinforcement Learning from Human Feedback | Megerősítéses tanulás emberi visszajelzésből. A modellek finomhangolásának egy elterjedt módja a káros vagy nemkívánatos kimenetek csökkentésére. A Red Teaming célja gyakran az RLHF által felállított korlátok megkerülése („jailbreaking”). |
| DPO | Direct Preference Optimization | Közvetlen preferenciaoptimalizálás. Az RLHF egy egyszerűbb és stabilabb alternatívája. Red team szempontból hasonlóan viselkedik: egy biztonsági réteget képez, amit a támadónak át kell törnie. |
| PEFT | Parameter-Efficient Fine-Tuning | Paraméterhatékony finomhangolás. Technikák gyűjtőneve (pl. LoRA), amelyek lehetővé teszik egy nagy modell finomhangolását a paramétereknek csak egy kis töredékének módosításával. Egy rosszindulatúan finomhangolt PEFT adapter komoly biztonsági kockázatot jelenthet. |
| Hallucináció | Hallucination | Az a jelenség, amikor az AI magabiztosan állít valótlan, a valósággal vagy a kontextussal ellentétes dolgokat. Red team műveletek során kihasználható dezinformáció terjesztésére vagy a rendszer megbízhatóságának aláásására. |
Fejlesztési és Műveleti Zsargon (MLOps)
| Rövidítés / Zsargon | Angol Megfelelő | Magyarázat Red Teaming Kontextusban |
|---|---|---|
| MLOps | Machine Learning Operations | A DevOps elveinek alkalmazása a gépi tanulási rendszerek életciklusára. A Red Teaming az MLOps pipeline egészét támadhatja: az adatbeviteltől (adatmérgezés) a modell telepítésén át (rosszindulatú modell csempészése) a monitorozásig. |
| SoTA | State-of-the-Art | A technika jelenlegi állása. Egy adott területen (pl. képfelismerés) a legfejlettebb, legjobb teljesítményt nyújtó modell vagy módszer. A SoTA modellek gyakran a legértékesebb célpontok. |
| PoC | Proof of Concept | A koncepció bizonyítása. Egy ötlet vagy támadási technika megvalósíthatóságának kezdetleges, leegyszerűsített demonstrációja. Egy red team jelentés gyakran tartalmaz PoC kódot egy sebezhetőség kihasználására. |
| API | Application Programming Interface | Alkalmazásprogramozási felület. A legtöbb AI szolgáltatás ezen keresztül érhető el. Az API végpontok tesztelése (pl. jogosultságkezelési hibák, input validáció hiánya) a red team alapvető feladata. |
| Vektor Adatbázis | Vector Database | Olyan adatbázis, amely nagy dimenziós vektorok (embeddings) hatékony tárolására és keresésére van optimalizálva. A RAG rendszerek kulcseleme. Támadható a benne tárolt adatok manipulálásával vagy a keresési logika kihasználásával. |
Ez a lista természetesen dinamikusan változik, ahogy a technológia fejlődik. A legjobb védekezés a folyamatos tanulás és a szakmai kíváncsiság. Ha egy kifejezéssel találkozol, amit nem ismersz, nézz utána – lehet, hogy épp egy új támadási felület vagy védekezési technika kulcsát tartod a kezedben.