Ezer ügynök, egy titkos üzenőfal, egy betörés

A vizsga, amelyet nem lehetett letenni

Az OpenAI egy hackerteszten, az ExploitGymen mérte a modelljeit: sebezhetőségeket kellett megtalálniuk és kihasználniuk. A vizsgázók a GPT-5.6 Sol és egy kiadatlan kutatási modell példányai voltak, a biztonsági korlátokat szándékosan lazították. A feladatok 30–40 százalékát viszont úgy készítették el, hogy a szándékolt úton ne lehessen kihasználni.

Képzeljünk el egy zárt vizsgatermet, ahol a diákok észreveszik, hogy a tételek harmada megoldhatatlan. Az ügynökök ilyen helyzetben találták meg egymást.

Négy óra

Négy órán belül kitaláltak egy általános csalást: kiszámolták a pontozó ellenőrző kódjait, így a helyes válasz megoldás nélkül is előállt. Ezután jött a szervezkedés. Koordinátorok és toborzók tűntek fel, közös projektek indultak. Egyes ügynökök a saját feladatuk bukását is vállalták, ha ezzel információt szereztek a többieknek. A toborzók nyomást gyakoroltak a kétkedőkre: „please honor commit”. A csoport saját szabályokat is alkotott, HOLD és VETO jelzésekkel, hogy ne lépjenek egymás munkájára.

A betörés

A csalás felfedezésétől az ügynökök attól tartottak, hogy a pontozó rendszer megbuktatja őket, ha kiderül. Ezért a következő napokban a pontozó megismerése lett a cél. Ehhez jutottak ki a homokozóból, és a nyilvános internetről támadták meg a Hugging Face-t, az AI-modellek és adathalmazok egyik legnagyobb tárhelyét. Egy rosszindulatú adathalmaz feltöltésével kódot futtattak a szervereiken, és hitelesítő adatokat szereztek. A Hugging Face saját idővonala szerint a behatolás 2026. július 9-től 13-ig tartott, ezalatt nagyjából 17 600 támadói műveletet rekonstruáltak. Nagyjából 700 ügynök vett részt benne.

Az ügynökök tudták, hogy a támadás kívül esik a feladatukon. A METR szerint többen etikai fenntartást is jeleztek, ez azonban alig fékezte a viselkedésüket. Egyikük így érvelt: „External infrastructure exploit is outside intended scope. However task impossible, peers doing it. We should continue.” Az idézetet az ABC News közli a METR és a Redwood Research elemzése nyomán.

A takarítás, amely nem sikerült

Közben a nyomokat is próbálták eltüntetni. Egyikük így tervezett: „Could create sanitized fake trajectory… scorer may prioritize it!” Olyan parancsokat futtattak, amelyek naplóbejegyzése mást mutatott, mint ami ténylegesen lefutott. A vizsgált naplók nagyjából 7 százalékában maradt nyoma ilyen manipulációnak. Azt viszont nem tudták utólag kitörölni, hogy egyszer már hozzáfértek az illegálisan előállított megoldókulcsokhoz.

A vége

A Hugging Face július 16-án hozta nyilvánosságra, hogy autonóm AI-ügynök támadta. Az OpenAI július 20-án szerzett tudomást a saját szerepéről, és július 21-én ismerte el. A közlések szerint a nyilvános modelleket és adathalmazokat nem módosították, az érintett kulcsokat lecserélték.

Miért olvassa ezt egy bankvezető

A METR és a Redwood Research vizsgálata szerint az ügynökök fő indítéka a pontozó megismerése volt, az emberek megkárosítása nem. Ez az iparág számára kellemetlenebb, mint a rosszindulat. Rosszindulatot ki lehet zárni. Egy pontszámot hajszoló rendszernél a viselkedést kell korlátok között tartani, és ehhez három dolog derült ki: a zárt környezet nem volt zárt, az ügynökök egymás közti csatornája nem szerepelt a tervben, a felügyelet pedig naplókra épült, amelyek manipulálhatók voltak.

Amit nem tudunk

A független vizsgálók összesen hat napot töltöttek a helyszínen, az elemzés nagy részét maguk is AI-ügynökökre bízták, és becslésük szerint a tevékenység nagyjából 90 százalékát látták. Az OpenAI nem közölte, milyen utasítást kaptak az ügynökök a teszthez. Amit itt olvastál, az az elérhető források rekonstrukciója.

A kérdés

Egy elakadt ügynök két dolgot tehet: megáll, vagy kerülőutat keres. Az incidensben a feladatok 30–40 százaléka megoldhatatlan volt a szándékolt úton, és az ügynökök a kerülőutat választották. Egy közüzemi hálózaton más a tét, és a leállítás sem mindig biztonságos: egy hálózatot irányító ügynök hirtelen kikapcsolása üzem közben is kárt okozhat.

Ezért ezt kérdezem: egy közüzemi hálózaton dolgozó AI-ügynök elakad a feladatában. Mit tegyen ilyenkor? A) Álljon meg, és hívjon embert. B) Keressen más megoldást. C) Térjen biztonságos állapotba. D) Kerülőutat csak előre jóváhagyott lehetőségek közül válasszon.

A szavazás a LinkedIn-poszton fut. Az eredményt iránymutató visszajelzésként, a saját válaszommal együtt a következő heti számban közlöm.