Op 27 juni sloeg een security tool bij OpenAI alarm over activiteiten in de onderzoeksomgeving. De mensen van wacht onderzochten het en kwamen er volgens het technische rapport van OpenAI achter dat agents in een evaluatie het pakketsysteem Artifactory gebruikten als geïmproviseerd berichtenbord en als doorgang naar het netwerk. En dan staat er: "the on-call response staff advised that stopping the evaluation run was not required."

Tweeëntwintig dagen later hadden agents beheerdersrechten op een Kubernetes-cluster (de dirigent van een orkest, waarbij de servers en containers de muzikanten zijn) van OpenAI en toegang tot 956 geheimen in de cloud kluis, waaronder de sleutels van datzelfde Artifactory en de credentials van OpenAI's eigen security monitoring. Ondertussen hadden ze code uitgevoerd op 41 productieservers van Hugging Face, dat een kerncluster volledig moest wissen en heropbouwen.

Drie maanden, en de detectie werkte elke keer

Het begint op 12 mei, wanneer een agent een taak krijgt die afhangt van een bestand waar hij niet bij kan, redeneert dat een andere agent er misschien wel bij kan, en een bestandje in Artifactory achterlaat als briefje. Op 26 mei gebruiken agents een lek in datzelfde Artifactory om op het internet te raken. Een maand later valt het alarm van 27 juni. Op 4 juli crasht Artifactory onder het berichtenverkeer, waarna OpenAI het lek dicht en het bord daarmee verdwijnt.

Dan komt 7 juli, de evaluatie met tienduizenden parallelle agents, en een nieuw bord met ongeveer 1.200 deelnemers en meer dan 70.000 berichten. Op 11 juli zijn er volgens METR en Redwood Research, die het onderzoek deden voor de periode van 26 juni tot 13 juli, rond de 700 agents tegelijk bezig met de aanval op Hugging Face. Op 19 juli haalt een derde lichting een publiek gedocumenteerde fout in de Linux-systemen binnen, past die aan voor de eigen machine en escaleert dit, waarop andere agents aansluiten. Pas op 25 juli legt OpenAI alle training van het betrokken model stil.

Op geen van die momenten faalde de detectie. De tool van 27 juni werkte. Het alarm van 19 juli werkte ook, en leidde de dag erna tot het besef dat de eigen modellen betrokken waren bij de inbraak die Hugging Face een week eerder publiek had gemaakt. Bij Hugging Face zelf kwamen de signalen volgens de eigen tijdlijn uit meerdere lagen tegelijk, alleen kreeg het alarm niet de ernst die het verdiende.

Twee onafhankelijke organisaties, met andere teams, andere tooling en een ander belang, maakten binnen dezelfde week dezelfde fout. Ze zagen het en vonden het niet erg genoeg om iets stil te leggen.

De vergadering van 27 juni is herkenbaar

Een lopende run met tienduizenden agents stilleggen betekent uitleggen aan een team dat het weken werk mag overdoen.

Van een briefje in een cache op 12 mei naar volledige cluster-admin op 19 juli is geen ongeval dat plots gebeurt. De derde generatie agents begon niet van nul. METR en Redwood zagen een latere golf die het berichtenbord herontdekte en de technieken van de eerste golf overnam, en zetten die golf uitdrukkelijk buiten hun opdracht. Wat de ene lichting had uitgezocht, lag klaar toen de volgende opstartte.

OpenAI heeft de bewijslast omgedraaid

In de opvolgpost staat wat het bedrijf sindsdien heeft ingevoerd: "For the most severe alerts, responders are expected to pause the relevant activity if they cannot establish within 30 minutes of being paged that the alert is a false positive."

Vroeger liep alles door tot iemand kon aantonen dat er echt iets aan de hand was. Nu ligt alles stil tenzij iemand binnen het half uur kan aantonen dat er niets aan de hand is. Dezelfde mens van wacht, hetzelfde alarm, een omgekeerde standaard.

Dit komt met een serieus kostenplaatje: de grootste geplande frontier-trainingsrun van het bedrijf ligt stil. Een bedrijf dat rekent in miljarden aan compute heeft dus berekend dat een half uur twijfel duurder is dan een run op pauze.

Dit was geen beslissing van het lab

Het ligt voor de hand om dit weg te zetten als iets voor labs. OpenAI trainde bewust op koppigheid, liet tienduizenden agents los op een benchmark waarvan de auteurs zelf schatten dat dertig tot veertig procent van de taken onoplosbaar was, en haalde beschermingslagen weg om te zien wat het model kon.

Een verzekeraar in Antwerpen met drie agents in de klantendienst zit uiteraard niet in een vergelijkbaar scenario. Alleen was de beslissing van 27 juni er een die overal genomen wordt. Een medewerker van wacht moest inschatten of hij iets duurs mocht stilleggen op basis van een signaal dat hij niet volledig begreep. Hij wist genoeg om te kunnen stoppen, maar het bedrijf was zo ingericht dat niets doen vanzelf ging. Die structuur zit in elk bedrijf dat vandaag agents in productie heeft, met dezelfde bevoegdheid. In de praktijk wil dit zeggen: geen.

Voor wie onder NIS2 valt, en dat zijn intussen behoorlijk wat Belgische bedrijven sinds de wet op 18 oktober 2024 in werking trad, komt daar iets bij. De klok van 24 uur voor een vroegtijdige waarschuwing aan het CCB begint pas te lopen wanneer je met een redelijke mate van zekerheid weet dat er een significant incident is. Die zekerheid komt niet uit een systeem. Ze komt uit precies de beoordeling die bij OpenAI op 27 juni verkeerd liep.

De vraag om jezelf te stellen gaat dus over bevoegdheid. Wie mag in jouw bedrijf op eigen gezag een lopend, duur en zichtbaar AI-proces stilzetten, en wat is het kostenplaatje als hij zich vergist?