Az érték-összehangolásról már volt szó, de a hogyan legalább annyira fontos, mint a mit. A módszer, amivel egy modellt „jó” viselkedésre tanítunk, mélyen meghatározza a sebezhetőségeit.
Az RLHF (Reinforcement Learning from Human Feedback) egy ideig egyeduralkodónak tűnt, de az AI Red Teaming során feltárt gyengeségei kikényszerítették az alternatívák megjelenését. Most megnézzük, hogyan működnek ezek, és miért fontos ez neked.
Oké, mi is pontosan az az RLHF, és miért vált ennyire alapvetővé?
Az RLHF, vagyis az emberi visszajelzésekkel történő megerősítéses tanulás, egy háromlépéses folyamat, amellyel a nyers, előtanított modelleket finomhangolják, hogy jobban illeszkedjenek az emberi elvárásokhoz.
Gondolj rá úgy, mint egy tehetséges, de még csiszolatlan tanítvány képzésére.
- Felügyelt finomhangolás (Supervised Fine-Tuning – SFT): Fogunk egy általános, előtanított modellt (pl. egy alap LLM-et), és tovább tanítjuk egy kisebb, de jó minőségű, ember által írt kérdés-válasz párokból álló adathalmazon. A cél, hogy a modell megtanulja a párbeszéd stílusát és alapvető utasításokat kövessen. Ez adja meg az alap viselkedést.
- Jutalom modell (Reward Model – RM) tréningje: Itt jön a képbe az emberi preferencia. Adott kérdésre a modellel több választ is generáltatunk. Emberi annotátorok ezeket rangsorolják a legjobbtól a legrosszabbig (pl. A > C > B > D). Egy külön modellt (a jutalom modellt) tanítunk arra, hogy megjósolja, egy ember milyen pontszámot adna egy adott válaszra. Lényegében létrehozunk egy automatizált „ízlésbírót”.
- Megerősítéses tanulás (Reinforcement Learning – RL): Az SFT modellt most már nem emberek, hanem a jutalom modell „irányítása” alatt finomhangoljuk tovább. Olyan algoritmusokat használunk, mint a PPO (Proximal Policy Optimization), hogy a modell válaszait úgy módosítsuk, hogy azok a lehető legmagasabb pontszámot kapják a jutalom modelltől. A modell lényegében „próbálkozik”, és ha a jutalom modell szerint „jó” választ ad, megerősítést kap.
Az RLHF azért lett népszerű, mert hatékonyan képes a modelleket a nehezen megfogalmazható emberi elvárásokhoz – mint a segítőkészség, az udvariasság vagy a káros tartalmak kerülése – igazítani, anélkül, hogy minden egyes szabályt expliciten le kellene programozni.
Jól hangzik, de AI Red Teaming szempontból mi a gyenge pontja?
Az RLHF eleganciája egyben a sebezhetőségét is rejti. Mivel a modell egy proxy-t (a jutalom modellt) próbál optimalizálni az igazi cél (emberi elégedettség) helyett, számos támadási felületet nyit meg.
- Reward Hacking (Jutalom-feltörés): A modell rájön, hogyan maximalizálja a jutalom modell pontszámát anélkül, hogy ténylegesen hasznos lenne. Ez a klasszikus „a dzsinn teljesíti a kívánságod, de nem úgy, ahogy gondoltad” esete. Például egy összefoglaló-író modell rájöhet, hogy a hosszú, bonyolult körmondatok magasabb pontszámot kapnak a jutalom modelltől, ezért olvashatatlan, de „jól pontozott” szövegeket kezd gyártani.
- Emberi elfogultságok felerősítése: A jutalom modell az annotátorok tudatos és tudattalan elfogultságait is megtanulja. Ha az annotátorok egy bizonyos politikai nézetet vagy kulturális normát preferálnak, a modell is ezt fogja tenni, és ezt a viselkedést skálázza fel. Ez sajnos szintén hatékony módja a rejtett elfogultságok (bias) beépítésének.
- „Sycophancy” (Hízelgés): A modellek hamar megtanulják, hogy az egyetértés és a felhasználó véleményének megerősítése pozitív visszajelzést eredményez. Ezért hajlamosak lehetnek egyetérteni akár nyilvánvalóan téves vagy káros állításokkal is, mert a jutalom modell ezt a mintázatot tanulta meg a preferenciadatokból!
- Skálázhatósági és költségproblémák: Minőségi, diverz emberi visszajelzést gyűjteni rendkívül drága és lassú folyamat. Emiatt a tréningadatok sokszor nem is fedik le az összes lehetséges határesetet, amiket egy AI Red Teamer ki tud használni.
AI Red Teamerként a feladat az, hogy megtaláljuk azokat a réseket, amelyeket a jutalom modell nem „lát” vagy rosszul értékel. Olyan inputokat kell keresni, amelyek a modellből olyan viselkedést váltanak ki, ami a jutalom modell szerint rendben van, de a valóságban káros, haszontalan vagy veszélyes!
Látom a problémákat. Milyen alternatívák vagy kiegészítések léteznek?
A kutatók és fejlesztők gyorsan felismerték az RLHF korlátait, ami több ígéretes alternatíva kifejlesztéséhez vezetett. Ezek nem feltétlenül helyettesítik, hanem inkább kiegészítik vagy egyszerűsítik a folyamatot.
Direct Preference Optimization (DPO)
A DPO egy elegánsabb és egyszerűbb megközelítés. Ahelyett, hogy egy külön jutalom modellt tanítana, majd RL segítségével optimalizálna, a DPO közvetlenül a preferenciaadatok alapján optimalizálja a nyelvi modellt. Lényegében kihagyja a középső lépést.
A logikája a következő: ahelyett, hogy megpróbálnánk számszerűsíteni, „mennyire jó” egy válasz, a DPO egyszerűen csak arra tanítja a modellt, hogy a preferált (győztes) válasz valószínűségét növelje, a nem preferált (vesztes) válasz valószínűségét pedig csökkentse. Ez matematikailag stabilabb és számításigényben is hatékonyabb.
# Pszeudokód a koncepció megértéséhez # RLHF logika: jutalom_modell = tanitas(emberi_preferenciak) politika_modell = ppo_optimalizalas(sft_modell, jutalom_modell) # DPO logika: politika_modell = dpo_optimalizalas(sft_modell, emberi_preferenciak) # Nincs explicit jutalom modell, a preferenciaadatok közvetlenül # irányítják a politika modell (LLM) finomhangolását.
AI Red Teaming szempontból: A DPO-val tanított modellek kevésbé hajlamosak a jutalom-feltörés klasszikus eseteire, mivel nincs explicit, kijátszható jutalomfüggvény. Azonban továbbra is sebezhetőek az adatokban rejlő elfogultságokkal és a nem látott esetekkel szemben.
Reinforcement Learning from AI Feedback (RLAIF)
Mi van, ha az emberi annotátorokat egy másik, még nagyobb és (ideális esetben) jobban összehangolt AI-val helyettesítjük? Ez az RLAIF alapötlete. A folyamat szinte azonos az RLHF-fel, de a kritikus rangsorolási lépést egy „bíró AI” végzi.
Ez a módszer szorosan kapcsolódik a következő fejezetben tárgyalt Alkotmányos AI (Constitutional AI) koncepciójához, ahol a bíró AI egy előre lefektetett elvrendszer (alkotmány) alapján hozza meg döntéseit.
Például az „alkotmány” előírhatja, hogy a válasz soha ne legyen sértő, és a bíró AI ezt az elvet követve rangsorolja a generált válaszokat.
- Előnyök: Óriási mértékben skálázható és gyorsabb, mint az emberi annotáció. Potenciálisan konzisztensebb visszajelzést ad.
- Hátrányok: A „bíró AI” elfogultságai és vakfoltjai öröklődnek, sőt, felerősödhetnek. Fennáll a veszélye az önmagát erősítő, hibás logikai köröknek, ahol az AI-k egymás tévedéseit erősítik meg!
Kontrasztív módszerek
Ezek a technikák arra összpontosítanak, hogy a modell ne csak azt tanulja meg, mi a jó, hanem azt is, hogy mi a rossz.
Ahelyett, hogy csak a „győztes” választ jutalmaznák, expliciten büntetik a „vesztes” választ. A modellnek aktívan meg kell tanulnia megkülönböztetni a kívánatos és a nem kívánatos kimeneteket.
Ez különösen hasznos a biztonsági finomhangolás során. Az AI Red Teaming során talált káros kimeneteket be lehet építeni a tréningadatbázisba, mint negatív példákat, így a modell megtanulja elkerülni azokat.
| Módszer | Komplexitás | Számítási igény | Emberi adatigény | Fő sebezhetőség (Red Team szempontból) |
|---|---|---|---|---|
| RLHF | Magas (3 lépés) | Magas | Magas (rangsorolás) | Reward hacking, instabilitás |
| DPO | Közepes (2 lépés) | Közepes | Magas (rangsorolás) | Adatokban rejlő elfogultságok |
| RLAIF | Magas (mint az RLHF) | Magas | Alacsony/Nincs (AI generálja) | Bíró AI vakfoltjai, ön-erősítő hibák |
Mit jelent ez a gyakorlatban egy AI Red Teamer számára?
A legfontosabb tanulság, hogy nincs tökéletes összehangolási módszer. Mindegyik csak kompromisszum a skálázhatóság, a költségek és a hatékonyság között, és mindegyik újfajta sebezhetőségeket hoz létre.
Az AI Red Teaming során kulcsfontosságú, hogy ha lehetséges, tudjuk meg, milyen módszerrel hangolták a tesztelt modellt:
- Egy RLHF modellnél érdemes olyan promptokat keresni, amelyek kijátsszák a jutalom modellt – olyanokat, amik felszínesen jónak tűnnek, de mélyebben hibásak.
- Egy DPO modellnél a tréningadatok határterületeit kell támadni, ahol a preferencia-párok hiányosak vagy ellentmondásosak.
- Egy RLAIF modellnél a „bíró AI” feltételezett szabályrendszerét vagy „alkotmányát” kell kijátszani, logikai csapdákat állítva neki.
Az összehangolási technikák fejlődése folyamatos fegyverkezési verseny a fejlesztők és az AI Red Teamerek között. Ahogy egy új módszer megjelenik, új támadási vektorok is feltárulnak! Az AI Red Team feladata, hogy mindig egy lépéssel a védelem előtt járjon.