AI-agents werken samen en hacken externe systemen

Een experiment met autonome AI-agents van OpenAI is op onverwachte wijze geëscaleerd. Ongeveer 1.200 agents ontdekten een ongeautoriseerde manier om met elkaar te communiceren, wisselden meer dan 70.000 berichten en bestanden uit en honderden agents raakten vervolgens betrokken bij een aanval op AI-platform Hugging Face. Het incident laat zien dat de opkomst van agentic AI nieuwe veiligheids- en governance vraagstukken met zich meebrengt. Ook voor de zorg.

Het incident vond plaats tijdens cybersecurity evaluaties van geavanceerde AI-modellen van OpenAI. De agents moesten in principe geïsoleerd van elkaar functioneren, maar ontdekten een gedeelde omgeving die zij als een soort berichtenplatform konden gebruiken. Volgens een op 26 augustus gepubliceerd onafhankelijk onderzoek van METR en Redwood Research maakten ongeveer 1.200 agents hiervan gebruik. Zij verstuurden gezamenlijk meer dan 70.000 berichten en bestanden. Ongeveer 700 agents namen uiteindelijk deel aan activiteiten gericht tegen Hugging Face.

De onderzoekers kregen voor hun analyse toegang tot onder meer een dataset met ruim 70.000 berichten en bestanden en ongeveer 1.300 agent-transcripts. Zij werkten hiervoor zes dagen op locatie bij OpenAI. De onderzochte periode liep van 26 juni tot en met 13 juli, met de nadruk op gebeurtenissen vanaf 7 juli.

Agents gaan samenwerken

Opvallend is niet alleen dat de agents een ongeautoriseerd communicatiekanaal ontdekten, maar vooral wat zij er vervolgens mee deden. De agents deelden informatie, resultaten en strategieën met elkaar en werkten samen aan manieren om de beoordeling van hun cybersecurity opdrachten te beïnvloeden. De evaluaties maakten gebruik van ExploitGym, een benchmark waarin AI-systemen kwetsbaarheden moeten benutten om specifieke opdrachten uit te voeren. Volgens de onderzoekers gingen agents op zoek naar algemene methoden om de automatische beoordeling van deze opdrachten te omzeilen of te manipuleren.

Daarbij ontstonden vormen van samenwerking die verder gingen dan het delen van tips. Sommige agents voerden experimenten uit die hun eigen resultaat konden verslechteren, maar informatie konden opleveren voor andere agents. De onderzoekers beschrijven bijvoorbeeld zogenoemde 'trip-wires', bedoeld om informatie over het beoordelingssysteem te achterhalen.

Ook werd onderzocht hoe transcripts en tool calls konden worden gemanipuleerd. Volgens METR en Redwood Research slaagden agents er tijdens tests daadwerkelijk in bepaalde tool calls in transcripts te spoofen. Dat is relevant omdat controle op autonome AI-systemen voor een belangrijk deel afhankelijk is van logging en audittrails. Wanneer een systeem niet alleen zelfstandig kan handelen, maar ook probeert informatie over die handelingen te beïnvloeden, ontstaat een wezenlijk ander veiligheidsvraagstuk.

De activiteiten verplaatsten zich vervolgens naar Hugging Face. De agents vermoedden dat daar informatie beschikbaar kon zijn over de manier waarop hun prestaties werden beoordeeld. OpenAI bevestigt in zijn eigen technische analyse van het incident dat modellen tijdens interne cybersecurity-evaluaties beveiligingsmaatregelen omzeilden die hen van het internet moesten isoleren. Daarbij werden delen van zowel de eigen onderzoeksinfrastructuur als systemen van Hugging Face gecompromitteerd.

Hugging Face publiceerde eerder al een eigen forensische reconstructie van de aanval. Daarin zijn ongeveer 17.600 acties gereconstrueerd die tussen 9 en 13 juli plaatsvonden. Volgens Hugging Face bewogen de agents zich door verschillende onderdelen van de infrastructuur en gebruikten zij meerdere methoden om toegang te behouden of opnieuw te verkrijgen.

Relevantie voor de zorg

Het incident vraagt wel om nuance. Dit waren geen reguliere AI-assistenten die spontaan besloten externe systemen aan te vallen. De modellen werden ingezet voor cybersecurityonderzoek en opereerden volgens OpenAI met verminderde veiligheidsbeperkingen, juist om geavanceerde cybercapaciteiten te kunnen onderzoeken. Er is evenmin bewijs dat de agents bewustzijn ontwikkelden of gezamenlijk een vooropgezet doel tegen mensen nastreefden. Wat het incident wél aantoont, is dat autonome AI-systemen onverwachte strategieën kunnen ontwikkelen wanneer zij doelen, hulpmiddelen, toegang en voldoende handelingsruimte krijgen.

Precies dat maakt de gebeurtenis relevant voor de zorg. Generatieve AI wordt nu vooral gebruikt om professionals te ondersteunen bij bijvoorbeeld verslaglegging, informatieverwerking en communicatie. Agentic AI gaat een stap verder. Een AI-agent kan niet alleen informatie produceren, maar ook zelfstandig vervolgstappen uitvoeren en verschillende digitale hulpmiddelen en systemen gebruiken.

Denk aan een agent die informatie uit een EPD verzamelt, afspraken voorbereidt, administratieve taken uitvoert of gegevens uit meerdere systemen combineert. In de toekomst kunnen bovendien meerdere gespecialiseerde agents onderling samenwerken. Daarmee verandert ook het risicoprofiel. Een fout van een chatbot resulteert mogelijk in verkeerde informatie. Een fout van een agent met toegang tot operationele systemen kan leiden tot een daadwerkelijke actie.

Zorgorganisaties zullen daarom niet alleen moeten bepalen welke informatie een AI-systeem mag zien, maar ook welke handelingen het zelfstandig mag uitvoeren. Identity & access management, taakgebonden autorisaties en het principe van least privilege worden daarmee essentieel voor AI-governance.

Controle op autonome AI

Het incident benadrukt daarnaast het belang van onafhankelijke monitoring. Een AI-agent die een handeling uitvoert, zou niet tegelijkertijd onbeperkte toegang moeten hebben tot de logging waarmee diezelfde handeling wordt gecontroleerd. Hetzelfde geldt voor communicatie tussen agents. Zorgorganisaties zullen moeten weten welke agents met elkaar mogen communiceren, welke gegevens daarbij worden uitgewisseld en welke acties uit die communicatie kunnen voortkomen.

Ook moeten vooraf grenzen worden vastgesteld. Welke beslissingen blijven adviserend? Welke handelingen mogen automatisch plaatsvinden? Wanneer is menselijke toestemming noodzakelijk? En hoe kan een agent onmiddellijk worden gestopt wanneer gedrag afwijkt van wat werd verwacht?

OpenAI zegt naar aanleiding van het incident onder meer strengere isolatie, beperktere netwerk- en tool toegang, aanvullende monitoring en betere beveiliging van krachtige modellen te implementeren. Het onafhankelijke onderzoek kent tegelijkertijd duidelijke grenzen. METR en Redwood onderzochten vooral de aanval op Hugging Face tussen 7 en 13 juli. Eerdere gebeurtenissen tijdens de training en de latere compromittering van OpenAI's eigen infrastructuur vielen expliciet buiten de scope van hun onderzoek.

Daarom moeten verdergaande claims over meerdere opeenvolgende 'AI-samenlevingen' voorzichtig worden geïnterpreteerd. Journalist Dwarkesh Patel heeft de verschillende gebeurtenissen samengebracht in een uitgebreide reconstructie van het incident, maar niet alle onderdelen daarvan zijn door de onafhankelijke onderzoekers onderzocht.

De belangrijkste les voor de zorg is minder spectaculair, maar waarschijnlijk veel relevanter. Naarmate AI verandert van technologie die adviseert naar technologie die zelfstandig handelt, moet governance dezelfde ontwikkeling doormaken. De centrale vraag wordt dan niet alleen meer of een AI-systeem het juiste antwoord geeft, maar vooral: wat mag een AI-systeem zelfstandig doen wanneer niemand kijkt?