Hoe geef je AI in de zorg goed vorm zonder innovatie te belemmeren? De Nederlandse Hannah van Kolfschooten, onderzoeker aan het Centre for Life Sciences Law van de Universiteit van Basel, legt tegenover ICT&health uit waarom innovatie en regelgeving hand in hand kunnen gaan en waarom AI-chatbots zijn uitgegroeid tot ‘schaduwgezondheidssystemen’.
U bent lid van de Technical Advisory Group on AI for Health van de Wereldgezondheidsorganisatie (WHO). Kunt u uitleggen waar deze adviesgroep zich mee bezighoudt?
"Het WHO Regional Office for Europe heeft de Technical Advisory Group on AI for Health opgericht om te adviseren over de inzet van AI in de gezondheidszorg op een manier die veilig, ethisch, eerlijk en effectief is. De groep bestaat uit tien experts uit verschillende disciplines, waaronder geneeskunde, volksgezondheid, informatica, ethiek en recht."
"Onze rol is om WHO/Europe te adviseren over de integratie van ethiek, governance, regelgeving en toezicht in AI-strategieën. Daarnaast dragen we bij aan beleidsaanbevelingen en capaciteitsopbouw en adviseren we over de manier waarop AI moet worden geïmplementeerd, gemonitord en geëvalueerd. Zo zorgen we ervoor dat AI veilig, effectief en transparant is, dat er verantwoording kan worden afgelegd, mensenrechten worden gerespecteerd en de gezondheidsuitkomsten daadwerkelijk verbeteren."
"Mijn eigen werkzaamheden binnen de groep richten zich op de juridische en ethische aspecten van AI-governance, met name de bescherming van patiëntenrechten en de ontwikkeling van effectieve regelgevingskaders."
Waar positioneert u zich als het gaat om de regulering van AI in de zorg? Meer aan de kant van innovatie of juist van voorzorg? Zou u uw benadering eerder liberaal of juist behoudend noemen?
"Een terugkerend thema in internationale discussies is dat innovatie en voorzorg vaak als tegenpolen worden neergezet, terwijl ze in de gezondheidszorg juist nauw met elkaar verbonden zijn. Betekenisvolle innovatie in de zorg is afhankelijk van vertrouwen, en vertrouwen is afhankelijk van goede waarborgen. Mijn benadering van regelgeving is daarom evidence-based en proportioneel: wanneer AI aantoonbaar de uitkomsten voor patiënten verbetert, moeten we de toepassing ervan mogelijk maken en stimuleren."
"Tegelijkertijd hebben we passende waarborgen nodig, omdat fouten in de gezondheidszorg ernstige gevolgen kunnen hebben voor patiënten. Goede regelgeving moet innovatie niet belemmeren, maar juist helpen ervoor te zorgen dat AI veilig is en daadwerkelijk klinische meerwaarde biedt."
In een van de artikelen waaraan u heeft meegewerkt, omschrijft u AI-chatbots als de ‘opkomst van schaduwgezondheidssystemen’. Wat bedoelt u daarmee?
"In dat artikel stellen wij dat AI-chatbots steeds vaker functies vervullen die traditioneel onderdeel waren van het zorgsysteem, zoals het verstrekken van gezondheidsinformatie, ondersteuning bij mentale gezondheid, symptoombeoordeling en leefstijladviezen."
"Wij noemen dit de opkomst van ‘schaduwgezondheidssystemen’. Het idee is dat deze technologieën steeds meer invloed krijgen op de gezondheidskeuzes van mensen, zonder volledig onderdeel uit te maken van de formele gezondheidszorg. Anders dan zorgverleners opereren veel AI-chatbots buiten de bestaande zorgstructuren en vallen zij niet onder dezelfde normen voor toezicht, verantwoording en kwaliteitsborging. Toch vertrouwen inmiddels miljoenen mensen op deze systemen bij beslissingen over hun gezondheid."
Je kunt stellen dat mensen al jarenlang gezondheidsinformatie halen uit boeken, websites en Google-zoekopdrachten, zonder dat daar specifieke regelgeving voor geldt. Waarom zouden AI-chatbots anders moeten worden gereguleerd?
"Het belangrijkste verschil is niet dat AI-chatbots gezondheidsinformatie aanbieden, maar dat zij steeds vaker functies vervullen die traditioneel binnen de gezondheidszorg werden uitgevoerd. Een boek of website biedt statische informatie, terwijl AI-chatbots gepersonaliseerde gesprekken voeren, symptomen interpreteren, beslissingen over het zoeken van zorg beïnvloeden en in sommige gevallen zelfs het contact met een zorgprofessional kunnen vervangen."
"Op grote schaal kunnen AI-chatbots invloed uitoefenen op het moment waarop mensen zorg zoeken, hoe zij symptomen interpreteren en in wie zij vertrouwen stellen. Wij stellen daarom dat AI, zodra het de gezondheidszorg beïnvloedt op een manier die gevolgen heeft voor de gezondheid van individuen, onder proportionele waarborgen zou moeten vallen die aansluiten bij die rol."
Hoe kun je generatieve AI effectief reguleren, terwijl de uitkomsten per definitie onvoorspelbaar zijn en zelfs de ontwikkelaars niet volledig kunnen sturen wat een model produceert? Een AI-systeem kan iemands leven redden door een ernstige aandoening correct te herkennen, maar ook gevaarlijk misleidend advies geven.
"Wat we in steeds meer landen zien, is een verschuiving van het reguleren van afzonderlijke AI-uitkomsten naar governance gedurende de volledige levenscyclus van AI. Dat betekent grondige tests vóór ingebruikname, duidelijke afbakening van de context waarin een systeem mag worden gebruikt, continue monitoring van de prestaties in de praktijk en het melden en aanpakken van ernstige incidenten."
"Wanneer generatieve AI wordt toegepast in omgevingen met een hoog risico, zoals de gezondheidszorg, zijn extra waarborgen nodig. Denk aan klinische validatie, menselijk toezicht, duidelijke escalatieprocedures en heldere verantwoordelijkheden wanneer er iets misgaat. Het doel moet niet zijn om alle onvoorspelbaarheid uit te bannen, maar ervoor te zorgen dat het risico van die onzekerheid niet uitsluitend wordt gedragen door mensen die gezondheidsadvies zoeken."
China voert regelgeving in om ‘emotionele afhankelijkheid van AI’ te beperken. Zou Europa een vergelijkbare koers moeten volgen?
"Ook de Europese Unie neemt maatregelen om emotionele afhankelijkheid van AI te beperken. De AI-verordening verbiedt bepaalde AI-systemen die mensen manipuleren of misbruik maken van hun kwetsbaarheden op een manier die waarschijnlijk schadelijk is. Daarnaast zal de voorgestelde Digital Fairness Act naar verwachting de regels rond verslavend en manipulatief digitaal ontwerp verder aanscherpen."
Maar biedt de Europese AI-verordening voldoende bescherming tegen de risico’s van kunstmatige intelligentie?
"De Europese AI-verordening biedt een stevig kader voor het beheersen van AI-risico’s voor zowel ontwikkelaars als gebruikers, met name in sectoren met een hoog risico zoals de gezondheidszorg. Tegelijkertijd geeft de verordening weinig concrete handvatten voor de manier waarop zorgprofessionals AI in de dagelijkse praktijk moeten gebruiken."
"Vragen als wanneer zorgverleners op AI mogen vertrouwen, wanneer zij de aanbevelingen van AI juist kritisch moeten beoordelen en hoe AI-ondersteunde beslissingen met patiënten moeten worden besproken, zullen moeten worden beantwoord in klinische richtlijnen, professionele standaarden en de praktijkervaring die de komende jaren wordt opgebouwd. Of de AI-verordening uiteindelijk succesvol is, hangt daarom niet alleen af van de wetgeving zelf, maar ook van de manier waarop deze wordt geïmplementeerd en zich blijft ontwikkelen naarmate de technologie verandert."
AI wordt al jarenlang veilig toegepast in de gezondheidszorg, bijvoorbeeld in de radiologie, dus al vóór de komst van de AI-verordening. Worden de nieuwe AI-risico’s soms niet overdreven?
"Ik denk niet dat de zorgen overdreven zijn, maar we moeten ook niet voorbijgaan aan de vele successen van AI in de gezondheidszorg. Radiologie is juist een goed voorbeeld van waarom zowel innovatie als regelgeving nodig zijn. AI heeft in veel situaties de werkprocessen en diagnostische prestaties al verbeterd, maar we hebben ook belangrijke risico’s gezien. Zo presteren sommige algoritmen voor borstkankerscreening minder goed bij vrouwen met een minderheidsachtergrond of bij vrouwen met dicht borstweefsel, wat leidt tot verschillen in het aantal fout-positieve uitslagen."
"We hebben ook uitdagingen gezien op het gebied van uitlegbaarheid, verantwoordelijkheid en de manier waarop zorgprofessionals AI in de praktijk moeten gebruiken. Internationaal zien we een belangrijke verschuiving: de discussie gaat niet langer vooral over de vraag of AI technisch werkt, maar of het in de dagelijkse klinische praktijk daadwerkelijk leidt tot betere uitkomsten voor patiënten."
Al 65 procent van de artsen in de VS gebruikt OpenEvidence vanwege de ondersteuning bij klinische besluitvorming. Het bedrijf heeft zich teruggetrokken uit de Europese markt en verwijst daarbij naar de Europese AI-verordening. Bestaat het risico dat strenge regelgeving niet alleen schadelijke, maar ook waardevolle innovaties wegjaagt?
"Het is uiteraard belangrijk dat regelgeving geen onnodige belemmeringen opwerpt voor innovatie. Tegelijkertijd denk ik niet dat we op basis van één voorbeeld kunnen concluderen dat Europa onvriendelijk is geworden voor klinische AI. We zien juist steeds meer Europese alternatieven ontstaan, die zijn ontwikkeld voor Europese zorgstelsels, nationale klinische richtlijnen en lokale regelgeving."
"Dat is belangrijk, omdat een toepassing die is ontwikkeld voor het Amerikaanse zorgsysteem niet zomaar kan worden overgezet naar Europa, waar de gezondheidszorg fundamenteel anders is georganiseerd."
Tegelijkertijd zien we de opkomst van ‘shadow AI’. Zelfs wanneer zorgorganisaties het gebruik van AI-tools verbieden, blijven veel zorgprofessionals deze in de praktijk onofficieel gebruiken.
"Een belangrijke les uit verschillende zorgsystemen is dat organisatorische verboden alleen waarschijnlijk niet effectief zijn. De gezondheidszorg heeft altijd gebruikgemaakt van meerdere vormen van governance, zoals beroepsethiek, professionele richtlijnen, nationale wetgeving en tuchtrechtelijk toezicht. Al deze lagen beïnvloeden de manier waarop zorgprofessionals nieuwe technologieën gebruiken."
"Bovendien kan het feit dat zorgprofessionals ondanks dergelijke verboden toch AI-tools gebruiken erop wijzen dat deze technologieën voorzien in een echte klinische behoefte. In dat geval zouden we moeten heroverwegen of een volledig verbod op AI-tools wenselijk is, en in plaats daarvan richtlijnen voor verantwoord gebruik of veilige alternatieven moeten ontwikkelen."
Zijn er de afgelopen tijd nieuwe AI-risico’s ontstaan die nog niet waren voorzien toen de Europese AI-verordening werd opgesteld?
"Ja. Technologie ontwikkelt zich altijd sneller dan wetgeving, dus het is niet verrassend dat er voortdurend nieuwe risico’s ontstaan. De Europese AI-verordening houdt daar rekening mee en is bewust zo ontworpen dat zij kan worden aangepast. Zo kan de lijst met AI-toepassingen met een hoog risico via gedelegeerde handelingen worden uitgebreid wanneer nieuwe toepassingen aanzienlijke risico’s opleveren voor gezondheid, veiligheid of fundamentele rechten."
"Wanneer er geheel nieuwe categorieën van onaanvaardbare risico’s ontstaan, kan ook de wetgeving zelf worden aangepast. Een goed voorbeeld daarvan is de recente wijziging van de AI-verordening (via de Digital Omnibus), waarmee AI-‘nudifier’-toepassingen zijn verboden."
De Europese Commissie heeft de invoering van een deel van de regels voor AI-systemen met een hoog risico uitgesteld. Tegelijkertijd zou het voorgestelde Digital Omnibus-pakket sommige verplichtingen versoepelen. Is dat volgens u de juiste richting?
"Eerdere versies van de Digital Omnibus zouden de toepassing van de AI-verordening op AI-gestuurde medische hulpmiddelen aanzienlijk hebben beperkt. Vrijwel alle AI-specifieke waarborgen zouden verdwijnen, terwijl deze systemen wel als hoog risico zouden blijven worden aangemerkt. Ik maakte mij zorgen over die aanpak, omdat daarmee belangrijke waarborgen op het gebied van datagovernance, menselijk toezicht en monitoring na marktintroductie zouden verdwijnen."
"Voor patiënten is het positief dat dit uiteindelijk geen onderdeel is geworden van de definitieve Digital Omnibus voor AI. Medische AI blijft binnen het hoogrisicokader van de AI-verordening vallen, terwijl gerichte uitzonderingen mogelijk blijven wanneer de bestaande regelgeving voor medische hulpmiddelen al een gelijkwaardig beschermingsniveau biedt. Dat zorgt voor een veel betere balans tussen het voorkomen van onnodige dubbele regelgeving en het behouden van belangrijke waarborgen voor patiënten."
"Tegelijkertijd denk ik niet dat we de invoering van de regels voor hoogrisicosystemen te lang moeten uitstellen. Organisaties voldoende tijd geven om zich voor te bereiden is verstandig, maar langdurige vertragingen zorgen voor onzekerheid en stellen belangrijke beschermingsmaatregelen onnodig uit."
Kan Europa zich verdere AI-regelgeving veroorloven als daardoor het risico ontstaat dat het achterop raakt in de mondiale AI-race en steeds afhankelijker wordt van modellen uit de Verenigde Staten en China? Ondermijnt dat uiteindelijk niet de Europese AI-soevereiniteit?
"Vanuit internationaal perspectief denk ik niet dat de belangrijkste vraag is of Europa de meeste AI-systemen ontwikkelt. Veel belangrijker is of we AI ontwikkelen die veilig en effectief is en daadwerkelijk leidt tot betere zorg voor patiënten. We zien nu al steeds meer Europese klinische AI-toepassingen ontstaan die zijn ontworpen voor Europese zorgstelsels, nationale richtlijnen en lokale regelgeving."
"Dat is belangrijk, omdat een toepassing die is ontwikkeld voor het Amerikaanse zorgsysteem niet zomaar kan worden overgezet naar Europa, waar de gezondheidszorg heel anders is georganiseerd."
Welke patiëntenrechten lopen momenteel het grootste risico wanneer ziekenhuizen en andere zorgorganisaties AI-systemen inzetten?
"Allereerst het recht op gelijke toegang tot zorg. AI-systemen presteren niet altijd even goed voor alle patiëntengroepen. Wanneer zij zijn getraind op niet-representatieve datasets of in de verkeerde klinische context worden gebruikt, kunnen zij bestaande gezondheidsverschillen versterken."
"Daarnaast is er het recht op informatie en geïnformeerde besluitvorming. Patiënten moeten weten wanneer AI een betekenisvolle rol speelt in hun behandeling, begrijpen wat AI wel en niet kan en de aanbevelingen met hun zorgverlener kunnen bespreken. Zonder die informatie wordt het veel moeilijker om weloverwogen keuzes over de behandeling te maken."
"Tot slot moeten patiënten toegang hebben tot een effectieve rechtsgang wanneer er door een AI-systeem iets misgaat. Het kan voor patiënten buitengewoon lastig zijn om vast te stellen wie juridisch verantwoordelijk is of om het oorzakelijk verband aan te tonen. Naarmate AI complexer wordt, wordt het steeds belangrijker dat patiënten uitleg kunnen krijgen en, waar passend, aanspraak kunnen maken op schadevergoeding."
Wat is uw belangrijkste conclusie van de recente WHO-conferentie ‘Shaping AI in Health’?
"Een van de belangrijkste boodschappen van de WHO-conferentie was dat de discussie is verschoven van de vraag óf AI thuishoort in de gezondheidszorg naar de vraag hóé we AI veilig, eerlijk en op een manier kunnen implementeren die daadwerkelijk leidt tot betere uitkomsten voor patiënten."
