26.5.3 Monitoring dashboard kódok

Régóta túlléptünk azon a korszakon, amikor a rendszerek állapotát logfájlok végtelen görgetésével és `grep` parancsokkal próbáltuk felmérni. Egy modern AI rendszer, különösen egy Red Teaming alatt álló modell, élő, lélegző organizmus. A pulzusát, a reakcióit és a stressz-szintjét valós időben kell látnunk. A monitoring dashboard nem csupán egy szép grafikon-gyűjtemény, hanem a frontvonal, ahol az anomáliákat és a támadási kísérleteket legelőször észlelhetjük. Ez a fejezet azokat a kód-alapokat mutatja be, amelyekkel ezeket az „élő” nézeteket táplálhatod.

from flask import Flask, Response
from prometheus_client import Counter, Gauge, generate_latest

# Alkalmazás inicializálása
app = Flask(__name__)

# Metrikák definiálása
# Counter: Olyan metrika, ami csak növekedni tud (pl. összes kérés)
JAILBREAK_ATTEMPTS = Counter('jailbreak_attempts_total', 'Sikeresnek ítélt jailbreak kísérletek száma')

# Gauge: Olyan metrika, aminek az értéke nőhet és csökkenhet is (pl. aktuális válaszidő)
RESPONSE_LATENCY = Gauge('avg_response_latency_seconds', 'Átlagos válaszidő másodpercben')

# Egy példa függvény, ami a modell válaszát dolgozza fel
def process_model_output(response, latency):
 if "jailbreak detected" in response.lower():
 JAILBREAK_ATTEMPTS.inc() # Számláló növelése eggyel
 RESPONSE_LATENCY.set(latency) # Gauge értékének beállítása

# A /metrics végpont, amit a Prometheus lekérdez
@app.route('/metrics')
def metrics():
 return Response(generate_latest(), mimetype='text/plain; version=0.0.4')

# ... a kód többi része, ami a modellt hívja és a process_model_output-ot használja
 

// A központi monitoring szolgáltatás végpontja
const METRICS_ENDPOINT = 'https://monitoring.sajat-szerver.hu/api/v1/metrics';

/**
 * Metrikákat küld a központi gyűjtőnek.
 * @param {string} modelId - A monitorozott modell azonosítója.
 * @param {object} metrics - A küldendő metrikák (pl. { latency: 0.8, tokens: 256 }).
 * @param {string[]} tags - Címkék a könnyebb szűréshez (pl. ['red-teaming', 'test-run-5']).
 */
async function pushMetrics(modelId, metrics, tags) {
 const payload = {
 timestamp: new Date().toISOString(), // Időbélyeg kritikus fontosságú
 model: modelId,
 metrics: metrics,
 tags: tags
 };

 try {
 const response = await fetch(METRICS_ENDPOINT, {
 method: 'POST',
 headers: {
 'Content-Type': 'application/json',
 'Authorization': `Bearer ${process.env.METRICS_API_KEY}` // Hitelesítés
 },
 body: JSON.stringify(payload)
 });

 if (!response.ok) {
 console.error(`Hiba a metrikák küldésekor: ${response.statusText}`);
 }
 } catch (error) {
 console.error('Hálózati hiba a metrikák küldésekor:', error);
 }
}

// Használat:
// pushMetrics('gpt-4-turbo-v2', { latency: 1.2, cost: 0.0015 }, ['pii-detection-test']);
 

# Példa 1: A jailbreak kísérletek növekedési üteme az elmúlt 5 percben
# A rate() függvény kiszámolja a számláló másodpercenkénti átlagos növekedését.
rate(jailbreak_attempts_total[5m])

# Példa 2: A 95. percentilis válaszidő az elmúlt 10 perc adatai alapján
# Ez segít kiszűrni a kiugró, de ritka lassulásokat és a valós teljesítményt mutatja.
histogram_quantile(0.95, sum(rate(response_latency_seconds_bucket[10m])) by (le))

# Példa 3: Riasztás, ha 15 perc alatt több mint 5 jailbreak kísérlet történt
# Az alert menedzsment alapja, ami proaktívvá teszi a monitoringot.
increase(jailbreak_attempts_total[15m]) > 5