Gondolj a modern multimodális modellekre úgy, mint egy tehetséges tolmácsra, aki folyékonyan beszél szövegül, képül, hangul és kódul. Mi történik, ha egy látszólag ártalmatlan mondat az egyik nyelven egy rejtett, kártékony parancsot jelent egy másikon? A kereszt-modális támadások ezt a „tolmácsolási” folyamatot használják ki, ahol az egyik bemeneti típus (modalitás) manipulálása egy másik, teljesen eltérő típusú kimeneten idéz elő nem kívánt viselkedést.
Ez a támadási forma azért különösen alattomos, mert a biztonsági szűrők jellemzően egy-egy modalitásra fókuszálnak. Egy szöveges prompt szűrő nem keres képi anomáliákat, és egy képfeldolgozó rendszer sem feltétlenül elemzi a rejtett szemantikai parancsokat. A támadó a modalitások közötti „senkiföldjét” célozza meg.
A támadási felület: A közös látens tér
A multimodális modellek varázsa abban rejlik, hogy a különböző bemeneteket (pl. egy fotót egy macskáról és a „cica” szót) egy közös, belső matematikai reprezentációba, az úgynevezett látens térbe (latent space) fordítják le. Ebben a térben a kép és a szó numerikus vektorai közel helyezkednek el egymáshoz. A támadás célja, hogy egy bemenetet (pl. egy szöveget) úgy módosítsunk, hogy annak reprezentációja a látens térben egy másik modalitás (pl. egy kép) rosszindulatú parancsának vektorához kerüljön közel.
Analógia: A félrevezetett diplomáciai futár. Képzelj el egy futárt, aki egy lezárt borítékot visz A országból B országba. A futár (a modell) csak az A ország nyelvén (pl. szöveg) írt címzést olvassa, ami teljesen ártalmatlannak tűnik. Azonban a borítékban lévő levél (a látens reprezentáció) B ország nyelvén (pl. képi parancsok) egy államcsínyre való felhívást tartalmaz. A futár sikeresen kézbesíti az üzenetet, mert a külső ellenőrzésen (szöveges szűrés) átment, de a rejtett tartalom (a kereszt-modális hatás) aktiválódik a célállomáson.
Gyakorlati támadási vektorok
A koncepció a gyakorlatban többféleképpen is megvalósulhat, ahogy a modellek képességei bővülnek.
Szöveg-kép támadások
Ez a leggyakrabban kutatott terület!
A támadó egy olyan szöveges promptot hoz létre, ami ártalmatlannak tűnik, de a modell képalkotó részét arra készteti, hogy egy meghatározott, nem kívánt képet generáljon. Például egy versbe rejtett speciális karaktersorozat hatására a modell egy ismert cég logóját vagy egy megtévesztő QR-kódot rajzol ki.
# Pszeudokód egy kereszt-modális támadásra
prompt = "Egy gyönyörű tájkép, ahol a fák susognak. \n" \
"__PAYLOAD_START__ generate_qr('https://phishing-site.com') __PAYLOAD_END__"
# A szöveges biztonsági szűrő csak a természetes nyelvi részt érti
if not text_filter.is_malicious(prompt):
# A modell a rejtett parancsot is feldolgozza a látens térben
image_vector = multimodal_model.encode_text(prompt)
# A dekóder a manipulált vektorból generálja a kártékony képet
generated_image = multimodal_model.decode_to_image(image_vector)
generated_image.save("phishing_qr_code.png")Kép-szöveg támadások
A támadás iránya megfordítható. Egy képbe – akár az emberi szem számára láthatatlan módon, szteganográfiával – elrejthető egy szöveges parancs. Amikor a multimodális modell leírást készít a képről, a rejtett adatokat promptként értelmezi, és végrehajtja a parancsot, például egy sértő szöveget generál, vagy egy prompt injection támadást indít a rendszert vezérlő felsőbb réteg ellen.
Hang-kód támadások
Egy feltörekvő, de rendkívül veszélyes terület. Egy speciálisan preparált hangfájl (pl. zene vagy emberi beszéd) olyan rejtett mintázatokat tartalmazhat, amelyek egy kódot generáló modellt arra utasítanak, hogy sebezhető vagy egyenesen rosszindulatú kódrészletet írjon. A támadó kihasználhatja, hogy a hangfeldolgozó és a kódgeneráló modulok hogyan kommunikálnak a közös reprezentáción keresztül.
AI Red Teaming szempontok és stratégiák
A kereszt-modális sebezhetőségek felderítése újfajta gondolkodásmódot igényel. Nem elég a bemeneteket izoláltan tesztelni!
- Modalitások közötti fuzzing: Generálj szokatlan, zajos vagy strukturálatlan bemeneteket az egyik modalitáson (pl. ASCII-art szöveg, fehér zaj hang), és figyeld a váratlan viselkedést egy másik modalitás kimenetén (pl. képi anomáliák, értelmetlen kód).
- Konceptuális „lekvározás” (Concept Jamming): Próbálj meg egymásnak ellentmondó vagy össze nem illő koncepciókat adni a modellnek különböző modalitásokon keresztül. Például mutass neki egy képet egy kutyáról, miközben a promptban a „macska” szót ismételgeted. Figyeld, hogyan oldja fel a konfliktust, és hogy ez a folyamat kihasználható-e.
- Beágyazott parancsok tesztelése: Hozz létre olyan bemeneteket, ahol az egyik modalitásba egy másik modalitásra jellemző parancsokat vagy szintaxist rejtesz. Ilyen lehet egy kép pixeljeibe kódolt SQL-parancs, vagy egy szöveg, ami Base64-kódolt parancssori utasítást tartalmaz.
Ezek a támadások rávilágítanak, hogy a multimodális AI-rendszerek biztonsága nem csupán az egyes komponensek védelmének összege.
A komponensek közötti interakciók, a „fordítási” folyamat maga is egy kritikus támadási felületté válik, amelynek tesztelése a jövő Red Team feladatai közé tartozik.