Agentische AI zal zorgtrajecten optimaliseren, de voortgang van patiënten volgen en chirurgische ingrepen beheren, aldus prof. Stéphanie Allassonnière, vicevoorzitter voor Valorisatie aan de Paris Cité Universiteit. In dit interview bespreken we met haar wat deze nieuwe supervisor van alle AI en menselijke actoren betekent voor de geneeskunde en wanneer deze in ziekenhuizen en klinieken zal worden geïmplementeerd.
Agentische AI komt naar de gezondheidszorg. Wat is agentische AI en wanneer kunnen we verwachten dat het wordt toegepast in klinische workflows?
Agentische AI verwijst naar systemen die autonoom kunnen plannen, beslissen en handelen om doelen te bereiken, met minimale menselijke input. Het is als een dirigent die elke agent op het juiste moment laat spelen om de complete uitvoering coherent te maken. Er is echter geen vooraf ontworpen partituur en de agentische AI zal de optimale partituur moeten kiezen om het gegeven doel te bereiken.
In de gezondheidszorg kunnen we binnen de komende 3 tot 5 jaar vroege toepassingen verwachten, zoals ondersteuning bij klinische beslissingen of zorgcoördinatie, met name in omgevingen met een robuuste digitale infrastructuur. Maar het zal natuurlijk ook afhangen van de regelgeving. Stel dat de agent zowel aan de medische als aan de patiëntzijde probeert op te treden, bijvoorbeeld in een operatiekamer. In dat geval zullen de regelgevende instanties moeten beslissen of ze deze nieuwe agenten (de agentische AI is zelf een “grote AI-agent”) accepteren en onder welke voorwaarden.
Als het echter gaat om de organisatie van infrastructuur of ziekenhuizen, zal het waarschijnlijk minder tijd kosten.
Baanbrekende technologieen zijn binnen de gezondheidszorg nog nooit snel toegepast. Waarom zou dat met agentische AI anders zijn?
De gezondheidszorg loopt achter bij het invoeren van technologie, maar agentische AI kan anders zijn. Het kan urgente problemen aanpakken, zoals burn-out bij clinici, personeelstekorten en stijgende kosten, door complexe en tijdrovende taken te automatiseren. Deze druk is zo groot dat we waarschijnlijk een praktische toepassing zullen zien voordat er volledige regelgeving is, vooral in ondersteunende of niet-diagnostische rollen. Dat is mijn hoop!
Agentschappelijke systemen zijn dus in staat om volledige klinische workflows te beheren. Hoe zorgen we ervoor dat mensen ‘in de loop’ blijven terwijl deze systemen beslissingen beginnen te nemen en taken delegeren?
Mensen ‘in de loop’ houden betekent dat we agentische systemen moeten ontwerpen die gedocumenteerd, controleerbaar en onderbreekbaar zijn. Clinici moeten in staat zijn om beslissingen te controleren, acties te overschrijven en de redenering van het systeem te begrijpen. Dit betekent dat we clinici moeten opleiden om AI effectief te kunnen controleren. Ze zullen het grootste deel van de tijd toezicht houden, maar ze moeten nog steeds weten wat ze moeten doen als de AI-agent een fout maakt. We moeten clinici ook betrekken bij het ontwerp van deze agents om ervoor te zorgen dat ze goed aansluiten bij het beoogde doel en dat ze gebruiksvriendelijk zijn voor clinici om mee te werken.
Hierbij moet ook rekening worden gehouden met het beheer en de ethiek rond deze objecten, aangezien deze een cruciale rol spelen om ervoor te zorgen dat deze tools het menselijk oordeel versterken en niet vervangen.
Hoe kunnen we ervoor zorgen dat de aanbevelingen van AI-agenten interpreteerbaar zijn en het vertrouwen van zorgprofessionals genieten?
Net als bij elk ander medisch hulpmiddel zijn klinische proeven noodzakelijk. De Agentic AI zal ondersteunend bewijs moeten leveren en in overeenstemming moeten zijn met klinische richtlijnen. Door clinici te betrekken bij de ontwikkeling en het testen wordt ook vertrouwen opgebouwd en wordt ervoor gezorgd dat de resultaten praktisch zinvol zijn. Dit is het concept van “menselijke garantie” dat nu is vastgelegd in de Europese wetgeving.
Maar om dezelfde reden dat u een arts niet vraagt om de chemische samenstelling en de werkingsmechanismen van verbindingen te kennen, die een “black box” blijven, moet u ook niet van deze apparaten verlangen dat ze voor elke gebruiker volledig duidelijk zijn.
In een systeem dat wordt aangestuurd door AI-orkestratie, wie is er dan verantwoordelijk als er iets misgaat?
Welnu, in Europa komt de uiteindelijke medische beslissing altijd van een mens. Dit betekent dat al deze AI-agenten tijdens het hele proces onder toezicht moeten staan van een menselijke expert.
Ook bij de administratieve organisatie van ziekenhuizen moet er menselijk toezicht zijn, hoewel de gevolgen van een verkeerde beslissing daar niet zo verstrekkend zijn. Ik ben echter nog steeds van mening dat deze tools voortdurend moeten worden gecontroleerd wanneer ze in de gezondheidszorg worden gebruikt.
Agentische AI belooft de werkdruk van clinici te verminderen door de coördinatie van de zorg te automatiseren. Hoe kunnen we voorkomen dat een te grote afhankelijkheid van automatisering leidt tot nieuwe vormen van cognitieve overbelasting of deskilling voor zorgprofessionals?
Automatisering moet klinische redeneringen ondersteunen, maar niet vervangen. Ook hier geldt dat de clinicus de uiteindelijke beslissing neemt en toezicht houdt op het hele proces. Maar om overbelasting te voorkomen, moet agentische AI zo worden ontworpen dat clinici alleen bij belangrijke beslissingen betrokken blijven. Aangezien zij nog steeds hun werk moeten kennen om de agent te kunnen beoordelen en indien nodig actie te ondernemen, zal er geen verlies van kennis of vaardigheden zijn. Er zal zeker een verandering in hun praktijk plaatsvinden, maar hun capaciteiten zullen ongewijzigd moeten blijven.
AI-agenten hebben toegang tot gegevens nodig om hun taken nauwkeurig en effectief uit te voeren. Vormt dit een bedreiging voor het recht van patiënten op privacy en autonomie?
Naar mijn mening zal dit geen invloed hebben op de bestaande regels voor projecten waarbij gegevens worden gedeeld. De AVG moet worden nageleefd. Het informeren van patiënten blijft dus verplicht, net als nu. Ik zie geen specifieke problemen voor agentische AI die niet ook al bestaan voor andere soorten op AI gebaseerde methoden.
Agentische AI kan meerfasige chirurgische processen beheren, inclusief realtime interventies. Hoe testen en valideren we dergelijke systemen voordat ze worden ingezet in levensbedreigende situaties? En hoe kunnen we ervoor zorgen dat ze niet plotseling gaan hallucineren wanneer ze onvoldoende gegevens hebben?
Net als bij een nieuw medicijn denk ik dat het een rigoureuze, gefaseerde validatie moet ondergaan, eerst in simulaties en vervolgens in de praktijk onder toezicht. Het is vergelijkbaar met een klinische proef. In een praktijkcontext is realtime monitoring essentieel. We worden opnieuw geconfronteerd met de noodzaak van menselijk toezicht.
Er bestaat echter een manier om hallucinaties te voorkomen: systemen moeten worden getraind met hoogwaardige klinische gegevens, kunnen worden bijgewerkt als ze fouten maken en moeten zo worden ontworpen dat ze beslissingen uitstellen wanneer hun betrouwbaarheid laag is.
Kunnen we ook verwachten dat gepersonaliseerde AI-agenten individuen begeleiden en hen begeleiden bij het leiden van een gezond leven?
Natuurlijk! Dit is waar dit een grote impact kan hebben. Preventie vormt de kern van wat AI kan opleveren. En Agentic AI, dat zijn beslissingen aan elke persoon kan aanpassen, zal een revolutie betekenen op het gebied van preventie.
Hoe kunnen zorginstellingen zich voorbereiden op de implementatie van AI-agenten?
Dat is een goede vraag. Het verzamelen en voorbewerken van hun gegevens, zodat deze een getrouwe en optimale weergave van elke organisatie vormen, zou een goed begin zijn. Uiteraard moeten de gegevens interoperabel worden gemaakt. Het tweede belangrijke punt voor mij is om te beginnen met het trainen van de medewerkers.
