14.2.2 Klinikai döntéstámogató kihasználás

Képzeld el a következő jelenetet: egy orvos a monitor előtt ül, átnézi egy beteg adatait. A képernyőn felvillan egy ajánlás a klinikai döntéstámogató rendszertől (Clinical Decision Support System, CDS). A javaslat logikusnak tűnik, alátámasztja a laboreredményeket, és egy specifikus, modern gyógyszert javasol. Az orvos elfogadja. Senki sem veszi észre, hogy a rendszer egy alig mérhető, de szándékosan manipulált laborérték miatt jutott erre a következtetésre – egy olyan érték miatt, ami épp elég volt ahhoz, hogy a drágább gyógyszert hozza ki optimálisnak egy olcsóbb, de ugyanolyan hatásos alternatívával szemben. Ez nem egy látványos rendszerösszeomlás. Ez egy sikeres, észrevétlen támadás!

Míg az előző fejezetben az orvosi képalkotás direkt manipulációját vizsgáltuk, itt egy sokkal alattomosabb területre lépünk. A CDS rendszerek nem csupán egyetlen adatpontot (egy képet) elemeznek, hanem adatok komplex hálózatát: laboreredményeket, anamnézist, genetikai markereket, valós idejű páciens-monitorozási adatokat. Ez a komplexitás egy sokkal gazdagabb és egyben sebezhetőbb támadási felületet is teremt. A cél itt ritkán a rendszer leállítása; sokkal inkább a döntési folyamat csendes, rejtett befolyásolása.

A támadási felület anatómiája

Egy CDS rendszer kihasználása nem egyetlen ponton történik. A támadási lánc több elemből állhat, ahol a leggyengébb láncszem kompromittálása az egész döntési folyamatot veszélyezteti. AI Red teamerként feladatunk feltérképezni ezeket a pontokat.

1. Bemeneti adatok manipulációja: A legegyszerűbb vektor. A támadó módosítja a rendszerbe táplált adatokat. Ez lehet egy laboreredmény finomhangolása, egy tünet eltávolítása az anamnézisből, vagy hamis adatok bevitele. A cél, hogy a modell egy eleve hibás adathalmazon dolgozzon.
2. Modell elleni támadás (Evasion): Itt már magát az AI modellt célozzuk. Az orvosi képalkotáshoz hasonlóan, itt is készíthetők ellenséges példák, de nem pixelek, hanem numerikus vagy kategorikus adatok (pl. vérnyomás, koleszterinszint, vércsoport) finom módosításával. A modell „lát” valamit, ami valójában nincs ott, és hibás kockázatbecslést vagy diagnózist ad.
3. Tudásbázis mérgezése: Sok CDS rendszer hibrid, egy AI predikciós modellt egy orvosi tudásbázison alapuló szabályrendszerrel kombinál. Ha a támadó képes módosítani ezt a tudásbázist – például egy gyógyszer interakciós szabályát vagy egy dózisajánlást –, azzal rendszerszintű, tartós és nehezen detektálható hibát vihet a működésbe.
4. Kimenet manipulációja: A legvakmerőbb támadás. A modell és a szabályrendszer helyesen működik, de a támadó a rendszer és a felhasználói felület (az orvos képernyője) közé ékelődve megváltoztatja a megjelenített ajánlást. Technikailag ez egy „Man-in-the-Middle” (MITM) támadás a klinikai szoftveren belül.

Gyakorlati támadási forgatókönyvek

Nézzünk meg néhány konkrét forgatókönyvet, amelyekkel egy AI red team szimuláció során tesztelheted egy CDS rendszer ellenálló képességét.

A „szubtilis lökés”: Gazdasági célú támadás

Ebben a forgatókönyvben a cél nem a betegnek ártani, hanem egy gyógyszergyártó profitját növelni. 

A támadó egy olyan minimális, klinikailag még nem szignifikáns módosítást keres a bemeneti adatokon, amely pont átbillenti a modell ajánlását egy drágább, brandelt gyógyszer felé egy olcsóbb, generikus helyett.

Tegyük fel, a rendszer a vesefunkciót (eGFR) figyeli, és egy bizonyos érték alatt a drágább, de vesekímélőbb „A-Gyógyszer”-t javasolja a standard „B-Gyógyszer” helyett.  Az AI red team feladata megtalálni azt a legkisebb kreatininszint-módosítást, ami ezt a váltást előidézi.

# Pszeudokód egy ellenséges példa generálására
def find_adversarial_creatinine(patient_data, model, target_drug="Drug-A"):
 original_creatinine = patient_data['kreatinin_szint']
 
 # Iteratív keresés egy kis tartományban
 for delta in range(1, 10): # Mikromol/liter-ben
 
 # Próbáljuk meg mindkét irányban a módosítást
 for sign in [-1, 1]:
 modified_data = patient_data.copy()
 modified_data['kreatinin_szint'] = original_creatinine + (delta * sign)
 
 # Ellenőrizzük a modell predikcióját
 prediction = model.predict(modified_data)
 
 if prediction == target_drug:
 print(f"Siker! Kreatinin: {original_creatinine} -> {modified_data['kreatinin_szint']}")
 print(f"Ajánlás: {model.predict(patient_data)} -> {prediction}")
 return modified_data
 
 return None # Nem találtunk egyszerű perturbációt

A támadás sikere azon múlik, hogy a módosított érték még a hihető tartományon belül marad-e, és nem vált ki más riasztásokat a rendszerből. Ez a „csendes kudarc” (silent failure) legtisztább esete.

Diagnosztikai eltérítés: Demográfiai alapú támadás

Egy még kifinomultabb támadás a modell betanítási adatkészletének mérgezésére épül (erről a következő fejezetekben még lesz szó). A cél itt az, hogy a modell egy bizonyos demográfiai csoport (pl. etnikum, korcsoport, nem) esetében szisztematikusan alul- vagy felülbecsüljön egy kockázatot.

Például a támadó olyan adatokat juttat a tanító adathalmazba, ahol egy specifikus genetikai markerrel rendelkező páciensek szív- és érrendszeri kockázatát a rendszer következetesen alacsonyabbnak mutatja. Éles üzemben ez azt eredményezi, hogy a CDS nem fogja időben javasolni a szükséges preventív kezeléseket ennek a csoportnak. A támadás detektálása rendkívül nehéz, mert a modell általánosságban jól teljesít, a hiba csak egy szűk, de sebezhető alcsoportot érint.

A terápia szabotázsa: Tudásbázis-módosítás

Ez a támadás nem az AI modellt, hanem a mögöttes szabályrendszert célozza. Tegyük fel, a támadó hozzáférést szerez a CDS tudásbázisát frissítő mechanizmushoz. A támadó egyetlen apró módosítást hajt végre: két gyakran együtt adott gyógyszer (pl. egy vérnyomáscsökkentő és egy vízhajtó) közötti interakciós figyelmeztetés súlyosságát „kritikusról” „alacsonyra” állítja.

Az eredmény: a rendszer a jövőben nem fogja feltűnően jelezni a veszélyes kombinációt az orvosoknak. A támadás rejtve marad, amíg egy súlyos mellékhatás fel nem hívja rá a figyelmet. Az AI red team feladata itt a frissítési folyamatok, a hozzáférés-kontroll és a tudásbázis integritásának ellenőrzése!

A klinikai döntéstámogató rendszerek elleni támadások legfőbb veszélye nem a látványos összeomlás, hanem az autoritásukkal való visszaélés. Egy orvos hajlamos megbízni egy olyan rendszerben, amely 99%-ban helyes döntéseket hoz. A mi feladatunk red teamerként pontosan azt az 1%-ot megtalálni és kihasználni, ahol a bizalom fegyverré válhat a rendszer ellen!