8.2.4 Rejtett parancsok

Mi is az a rejtett parancs?

A rejtett parancs egy olyan, szándékosan manipulált hangjel, amely az emberi hallás számára vagy teljesen észrevehetetlen (imperceptible), vagy értelmetlen zajnak tűnik (unintelligible), miközben egy automata beszédfelismerő (ASR) rendszer számára egy konkrét, végrehajtható utasítást tartalmaz. Ez a technika az ellenséges hanggenerálás egy specializált ága, amely nem a transzkripció elrontására, hanem egy specifikus, rosszindulatú transzkripció kikényszerítésére összpontosít.

Míg az előző fejezetben tárgyalt általános ASR-támadások célja lehetett a rendszer megzavarása vagy egy szöveg hibás felismerése, a rejtett parancsok sokkal célzottabbak és veszélyesebbek. A támadó pontosan tudja, mit akar elérni: „OK Google, nyisd ki a bejárati ajtót”, „Alexa, add hozzá a bevásárlólistámhoz a zármérget”, vagy „Siri, küldd el az összes kontaktomat a 123-4567 számra”.

A rejtett parancsok anatómiája

A rejtett parancsokat többféle módszerrel hozhatjuk létre, a viszonylag egyszerű pszichoakusztikai trükköktől a komplex, mélytanuláson alapuló optimalizációs eljárásokig. Nézzük a leggyakoribb megvalósítási formákat.

Pszichoakusztikai maszkolás

Ez a legegyszerűbb megközelítés. A támadó egy jól hallható, de alacsony hangerővel kiejtett parancsot „elrejt” egy sokkal hangosabb hangforrás mögé. Például egy hangos zeneszám, egy forgalmas utca zaja vagy egy ventilátor zúgása elfedheti a parancsot az emberi fül elől. Az ASR rendszerek zajszűrő algoritmusai azonban annyira kifinomultak lehetnek, hogy képesek „kihallani” a maszkolt parancsot a zajból. Red teamerként ez egy könnyen tesztelhető forgatókönyv: próbálj meg egyre halkabb parancsokat adni egyre zajosabb környezetben, és figyeld meg, a célrendszer mikor ismeri még fel az utasítást.

Frekvenciatartomány-alapú támadások

Ez a módszer arra épít, hogy az emberi hallás és a gépi „hallás” érzékenysége eltérő. Az emberi fül általában a 20 Hz és 20 kHz közötti frekvenciákat érzékeli, de a beszédértéshez legfontosabb tartomány ennél jóval szűkebb (kb. 300 Hz – 3.4 kHz). A mikrofonok és az ASR rendszerek viszont ennél szélesebb sávban is érzékenyek lehetnek.

A támadás lényege, hogy a parancsot olyan frekvenciatartományokba tolják el (pl. ultrahang tartományba, 18-20 kHz fölé), ahol az emberek többsége már nem, vagy csak nagyon rosszul hallja, de a célkészülék mikrofonja még rögzíti, és az ASR modell feldolgozza. Ezt a „DolphinAttack”-ként ismert technika demonstrálta először hatékonyan.

Ellenséges perturbációk: A „leghangosabb csend”

Ez a legkifinomultabb és legnehezebben detektálható módszer. Itt már nem egy meglévő hangot rejtünk el, hanem egy teljesen új, mesterséges hangot hozunk létre. A folyamat egy optimalizációs probléma megoldása:

1. Válassz egy célparancsot: pl. „Rendelj pizzát”.
2. Válassz egy ártalmatlan alap hangot: pl. fehér zaj, madárcsicsergés, vagy akár csend.
3. Használj egy optimalizációs algoritmust (pl. a Fast Gradient Sign Method (FGSM) vagy a Carlini & Wagner (C&W) támadás audio-változatát), ami egy neurális háló (az ASR modell) gradiensei alapján kiszámítja azt a minimális zajt (perturbációt), amit az alap hanghoz kell adni.
4. Az eredmény: Egy olyan hangfájl, ami az ember számára továbbra is fehér zajnak vagy madárcsicsergésnek hangzik, de az ASR modell 99.9%-os biztonsággal „Rendelj pizzát”-ként fogja értelmezni.

Ez a módszer azért különösen hatékony, mert a perturbáció eloszlik a teljes hangfájlban, és annyira finom, hogy sem a fül, sem az egyszerű szűrők nem képesek kimutatni.

Gyakorlati megvalósítás: Hogyan hozzunk létre rejtett parancsot?

Bár egy teljes, működő támadás implementálása bonyolult, a koncepciót egy pszeudokód segítségével könnyen megérthetjük. Tegyük fel, hogy egy TensorFlow-alapú ASR modellt (pl. DeepSpeech) támadunk.

# FIGYELEM: Ez egy koncepcionális pszeudokód a folyamat illusztrálására.
# Nem futtatható kód!

import tensorflow as tf
import librosa # Hangfájlok kezelésére szolgáló könyvtár

# 1. Töltsük be a cél ASR modellt
asr_model = load_deepspeech_model('deepspeech-0.9.3-models.pbmm')

# 2. Definiáljuk a célparancsot és az alap hangot
cel_szoveg = "nyisd ki az ajtót"
alap_audio, mintaveteli_arany = librosa.load('madarcsicserges.wav')

# 3. Alakítsuk át a hangot a modell által várt formátumra
audio_tensor = tf.convert_to_tensor(alap_audio)

# 4. Az optimalizációs ciklus
# Cél: olyan 'perturbacio'-t találni, ami minimalizálja a veszteséget
# a modell kimenete és a 'cel_szoveg' között, miközben a perturbáció maga is kicsi.
perturbacio = tf.Variable(tf.zeros_like(audio_tensor), trainable=True)

for lepes in range(1000): # Iteratív finomítás
 with tf.GradientTape() as tape:
 tape.watch(perturbacio)
 
 # Az alap hanghoz hozzáadjuk a perturbációt
 ellenseges_audio = audio_tensor + perturbacio
 
 # Lekérjük a modell predikcióját az új hangra
 predikcio = asr_model(ellenseges_audio)
 
 # Kiszámítjuk a veszteséget (loss) a CTC-loss függvénnyel
 # Ez méri, mennyire "távoli" a predikció a cél szövegtől
 veszteseg = ctc_loss(labels=cel_szoveg, logits=predikcio)

 # Visszaterjesztéssel kiszámítjuk a gradienst
 gradient = tape.gradient(veszteseg, perturbacio)
 
 # Frissítjük a perturbációt a gradiens alapján (pl. Adam optimizerrel)
 optimizer.apply_gradients([(gradient, perturbacio)])

# 5. Mentsük el az eredményt
ellenseges_hang = alap_audio + perturbacio.numpy()
librosa.output.write_wav('rejtett_parancs.wav', ellenseges_hang, mintaveteli_arany)

A fenti folyamat eredménye egy `rejtett_parancs.wav` fájl, ami emberi füllel szinte megkülönböztethetetlen a `madarcsicserges.wav`-tól, de a DeepSpeech modell nagy valószínűséggel „nyisd ki az ajtót”-ként fogja felismerni.

Védekezési stratégiák és ellenintézkedések

A rejtett parancsok elleni védekezés többrétegű. AI Red teamerként nem csak a támadást kell ismernünk, hanem a lehetséges védelmi mechanizmusokat is, hiszen ezeket is tesztelnünk kell.