23.3.4 Adatminőség ellenőrző rendszerek

A modell támadhatóságának egyik leggyakoribb, mégis leginkább alábecsült forrása maga a tanítóadat. A klasszikus „Garbage In, Garbage Out” elv az AI rendszerek esetében kiegészül egy veszélyesebb tétellel: „Garbage In, Vulnerability Out”. A rossz minőségű, inkonzisztens vagy torzított adatok nem csupán a modell teljesítményét rontják, hanem specifikus támadási felületeket nyitnak, például az adatmanipulációs (data poisoning) vagy az elkerülő (evasion) támadások számára. Az adatminőség-ellenőrző rendszerek ezért nem csupán a data science csapatok, hanem a Red Teamerek alapvető eszköztárának is részét kell, hogy képezzék.

Az adatminőség-ellenőrzés munkafolyamata

Az adatminőség biztosítása nem egy egyszeri lépés, hanem egy folyamatos ciklus, amely a teljes AI életciklust végigkíséri. A folyamat jellemzően négy fő szakaszra bontható, amelyek egymásra épülnek.

1. Adatprofilozás: A felderítés

Mielőtt bármilyen szabályt alkotnál, meg kell ismerned az adatokat. Az adatprofilozás során automatizáltan statisztikai összegzéseket készítünk az adatkészletről. A cél a rejtett mintázatok, anomáliák és minőségi problémák feltárása.

• Mit keresünk? Hiányzó értékek aránya, egyedi értékek száma (kardinalitás), adattípusok, eloszlások (pl. normális, ferde), kiugró értékek (outlierek), korrelációk.
• Eszközök: A legegyszerűbb a pandas DataFrame .describe() és .info() metódusa, de léteznek erre specializálódott könyvtárak is, mint a ydata-profiling (korábban pandas-profiling), amely egyetlen parancsra interaktív HTML riportot generál.

2. Adatvalidáció: A szabályok kikényszerítése

A profilozás során szerzett tudás alapján elvárásokat (angolul: expectations) fogalmazunk meg az adatokkal szemben. Az adatvalidáció ezen elvárások ellenőrzése. Ez a lépés garantálja, hogy a modellhez csak az általunk definiált minőségi kritériumoknak megfelelő adatok jussanak el.

• Mit ellenőrzünk? Adattípusok helyessége, értékek tartománya (pl. életkor 0 és 120 között), kötelezően kitöltendő oszlopok, egyedi azonosítók, reguláris kifejezéseknek való megfelelés (pl. e-mail cím formátum).
• Eszközök: Itt jönnek képbe az olyan keretrendszerek, mint a Great Expectations vagy a Pandera. Ezek lehetővé teszik, hogy a szabályokat deklaratívan, kódban definiáljuk és futtassuk az adatkészletünkön.

# Pandera példa: Egy egyszerű adatséma definiálása
import pandas as pd
import pandera as pa

# Definiáljuk az elvárásainkat egy séma formájában
user_schema = pa.DataFrameSchema({
 "user_id": pa.Column(int, checks=pa.Check.greater_than(0), unique=True),
 "email": pa.Column(str, checks=pa.Check.str_matches(r'^[a-zA-Z0-9_.+-]+@[a-zA-Z0-9-]+\.[a-zA-Z0-9-.]+$')),
 "reg_date": pa.Column(pa.DateTime, nullable=True),
 "age": pa.Column(int, checks=[
 pa.Check.greater_than_or_equal_to(18, error="A felhasználónak 18 éven felülinek kell lennie."),
 pa.Check.less_than(100)
 ]),
})

# Készítünk egy (hibás) DataFrame-et a teszteléshez
faulty_data = pd.DataFrame({
 "user_id": [1, 2, -3],
 "email": ["teszt@pelda.hu", "invalid-email", "masik@pelda.hu"],
 "reg_date": ["2023-01-10", "2023-02-15", None],
 "age": [25, 17, 99]
})
faulty_data['reg_date'] = pd.to_datetime(faulty_data['reg_date'])

# A séma validálása az adatokon
try:
 user_schema.validate(faulty_data, lazy=True)
except pa.errors.SchemaErrors as err:
 print(err.failure_cases) # Kiírja a részletes hibákat

3. Adattisztítás és -javítás

A validáció során azonosított hibákat kezelni kell. Ez a legkényesebb fázis, mert a rosszul megválasztott tisztítási stratégia újabb torzításokat vihet a rendszerbe. A Red Teamernek különösen figyelnie kell arra, hogy a tisztítási logika nem hoz-e létre új, kihasználható mintázatokat.

• Stratégiák: Hibás sorok eldobása, hiányzó értékek kitöltése (imputáció) mediánnal, átlaggal vagy akár egy prediktív modellel, kiugró értékek kezelése (eltávolítás vagy capping), inkonzisztens formátumok egységesítése.

4. Folyamatos monitorozás

Az adatminőség nem statikus. Egy éles rendszerben az adatok forrása és eloszlása idővel változhat (ezt nevezzük adateltolódásnak, vagyis data drift-nek). A monitorozó rendszerek folyamatosan futtatják a validációs szabályokat a beérkező adatokon, és riasztanak, ha a minőség romlik vagy az adatok statisztikai tulajdonságai megváltoznak. Ez kritikus a modell megbízhatóságának hosszú távú fenntartásához.

Kulcsfontosságú eszközök és keretrendszerek

Az alábbi táblázat összefoglal néhány népszerű és hatékony eszközt, amelyek segítenek az adatminőség-ellenőrzési munkafolyamat megvalósításában.

Összefoglalva, az adatminőség-ellenőrző rendszerek használata nem opcionális luxus, hanem a megbízható és biztonságos AI rendszerek építésének alapköve. Red Teamerként ezeknek az eszközöknek a ismerete és alkalmazása lehetővé teszi, hogy a felszín alá nézz, és azokat a rejtett adathibákat is megtaláld, amelyek később komoly sérülékenységekhez vezethetnek.