A gépi tanulási modellek működésének mélyebb megértése, és különösen a sebezhetőségeik feltárása, elképzelhetetlen a mögöttük rejlő matematikai apparátus ismerete nélkül. Ez a fejezet nem egy teljeskörű matematikai kurzus, hanem egy sűrített, célzott referencia, amely a Red Teaming szempontjából legfontosabb fogalmakat, jelöléseket és formulákat összegzi.
Lineáris Algebra: Az Adatok és Transzformációk Nyelve
A neurális hálózatok lényegében nagy dimenziós terekben végeznek geometriai transzformációkat. Az adatok (képpontok, szó-embeddingek, stb.) vektorként, a modell súlyai pedig mátrixokként vagy tenzorokként jelennek meg. Ezen struktúrák és a rajtuk végezhető műveletek megértése alapvető.
Skalárok, Vektorok, Mátrixok és Tenzorok
Ezek az objektumok a numerikus adatok tárolásának alapkövei. A dimenziójuk száma különbözteti meg őket.
| Objektum | Jelölés (általános) | Leírás | Példa |
|---|---|---|---|
| Skalár | x, a, λ (kisbetű) | Egyetlen szám (0-dimenziós tenzor). | Egy képpont intenzitása, egy neuron aktivációs küszöbe. |
| Vektor | x, v (félkövér kisbetű) | Számok rendezett sora (1-dimenziós tenzor). | Egy adatelem jellemzői (pl. [kor, jövedelem, magasság]). |
| Mátrix | X, W (félkövér nagybetű) | Számok kétdimenziós táblázata (2-dimenziós tenzor). | Egy neurális hálózati réteg súlymátrixa. |
| Tenzor | T, X (félkövér nagybetű) | Számok N-dimenziós tömbje. | Egy köteg (batch) színes kép: [képek_száma, magasság, szélesség, csatornák]. |
Gyakori Műveletek
- Skaláris szorzat (Dot Product): Két azonos dimenziójú vektor közötti művelet, amely egy skalárt eredményez. Geometriailag a két vektor egymásra vetítésének és hosszának szorzata. A neurális hálózatok súlyozott összegzésének matematikai alapja.
aTb = ∑i=1n aibi
- Mátrix-vektor szorzás: Egy mátrix és egy vektor közötti művelet, amely egy új vektort eredményez. Lényegében a bemeneti vektor lineáris transzformációja.
y = Wx
- Hadamard-szorzat (Elemenkénti szorzás): Két azonos méretű mátrix vagy vektor közötti művelet, ahol a megfelelő elemeket szorozzuk össze.
(A ⊙ B)ij = Aij * Bij
Analízis: A Tanulás Mechanizmusa
A modellek tanulása egy optimalizációs folyamat, amelynek célja egy veszteségfüggvény (loss function) minimalizálása. Az analízis, különösen a differenciálszámítás, biztosítja az eszközöket ahhoz, hogy megtaláljuk, hogyan kell módosítani a modell paramétereit (súlyait) a veszteség csökkentése érdekében.
Derivált és Gradiens
A derivált egy egyváltozós függvény változási sebességét méri egy adott pontban. Többváltozós függvények esetén (mint amilyen egy neurális hálózat veszteségfüggvénye) a gradiens fogalmát használjuk. A gradiens egy vektor, amely a függvény meredekségét és a legmeredekebb növekedés irányát adja meg egy adott pontban.
[ ∂L / ∂w1, ∂L / ∂w2, …, ∂L / ∂wn ]
Ahol L a veszteségfüggvény és w a modell súlyvektora. A gradiens minden komponense megmutatja, hogy az adott súly megváltoztatása milyen mértékben befolyásolja a teljes veszteséget.
Red Teaming Perspektíva
A gradiens a gradient-alapú támadások (pl. FGSM, PGD) lelke. Ezen támadások során kiszámítjuk a bemeneti adatra vonatkozó gradienst (∇x L(x, y)), nem a súlyokra vonatkozót. A gradiens iránya megmutatja, hogyan kell a bemenetet (pl. egy képet) minimálisan módosítani ahhoz, hogy a veszteség maximális legyen, ami a modell megtévesztéséhez vezet. A gradiens ismerete egyenértékű a modell „gondolkodásának” legérzékenyebb irányainak ismeretével.
A Láncszabály (Chain Rule)
A neurális hálózatok rétegekből álló, egymásba ágyazott függvények sorozatai. A láncszabály teszi lehetővé, hogy egy ilyen összetett függvény deriváltját hatékonyan kiszámoljuk. Ez a backpropagation algoritmus matematikai alapja, amely során a hibát „visszaterjesztjük” a hálózaton, rétegről rétegre kiszámítva a gradienseket.
Valószínűségszámítás: A Bizonytalanság Kezelése
A gépi tanulás alapvetően a bizonytalansággal való munkát jelenti. A modellek nem abszolút igazságokat, hanem valószínűségi becsléseket adnak. A valószínűségszámítás nyelvezete segít értelmezni a modell kimeneteit és megérteni a döntései mögötti logikát.
Várható Érték
Egy valószínűségi változó várható értéke (E[X]) a változó lehetséges értékeinek súlyozott átlaga, ahol a súlyokat a valószínűségek adják. Intuitívan ez a változó „átlagos” értéke, ha a kísérletet végtelen sokszor elvégeznénk.
Gyakori Eloszlások
- Bernoulli-eloszlás: Egyetlen kísérlet kimenetelét modellezi, amelynek két lehetséges vége van (pl. „siker” vagy „kudarc”). Bináris klasszifikációs problémák kimenetének (pl. spam/nem spam) természetes modellje.
- Kategorikus eloszlás: A Bernoulli-eloszlás általánosítása több mint két lehetséges kimenetelre. Többosztályos klasszifikáció (pl. MNIST számjegyfelismerés) esetén a modell kimenete (a Softmax réteg után) egy kategorikus eloszlást ír le az osztályok felett.
- Normális (Gauss-) eloszlás: A legismertebb folytonos eloszlás, amelyet gyakran használnak a valós világbeli adatok és a modellekben lévő zaj modellezésére.
Ezen matematikai alapok stabil ismerete nem csupán a modellek építéséhez, hanem azok kritikus elemzéséhez, teszteléséhez és végső soron a megbízhatóságuk megkérdőjelezéséhez is elengedhetetlen. A formulák mögött rejlő koncepciók megértése nyitja meg az utat a kifinomultabb támadási és védelmi stratégiák felé.