Europese artsen en zorginstellingen roepen EU-wetgevers op om AI in medische hulpmiddelen strikt te blijven reguleren onder de AI Act. In een gezamenlijke open brief pleiten de Standing Committee of European Doctors (CPME) en de European Hospital and Healthcare Federation (HOPE) voor duidelijke, geharmoniseerde en toekomstbestendige regelgeving om patiëntveiligheid en vertrouwen in AI-toepassingen te waarborgen.
Volgens de organisaties schieten de bestaande Europese regels voor medische hulpmiddelen (MDR) en in-vitro diagnostica (IVDR) tekort voor moderne, data-gedreven AI-systemen. Deze regelgeving is primair gericht op traditionele, voorspelbare producten en houdt onvoldoende rekening met adaptieve technologieën zoals machine learning.
AI Act als kader
De AI Act biedt juist wél een kader voor deze nieuwe generatie systemen. Door AI in medische toepassingen binnen de reikwijdte van deze wet te houden, ontstaat volgens CPME en HOPE een consistent en transparant beoordelingskader voor risico’s die specifiek zijn voor AI.
Een belangrijk voordeel van de AI Act is dat deze expliciet vastlegt hoe zogenoemde ‘notified bodies’ (keuringsinstanties) AI-systemen moeten beoordelen. Dit zorgt voor meer duidelijkheid voor fabrikanten én gebruikers van AI in de zorg. Zonder dit kader dreigt versnippering: lidstaten of individuele keuringsinstanties zouden eigen interpretaties hanteren, wat kan leiden tot ongelijkheid en onzekerheid in de markt.
Risico’s adresseren
De AI Act adresseert risico’s die in de huidige medische regelgeving nauwelijks aan bod komen. Denk aan:
- bias in algoritmes
- verslechtering van modelprestaties
- onvoldoende representatieve datasets
- risico’s rond training en validatie van modellen
Deze factoren kunnen directe gevolgen hebben voor klinische besluitvorming. Zeker bij toepassingen zoals large language models (LLM’s), die continu kunnen worden aangepast en beïnvloed, is extra toezicht noodzakelijk.
De organisaties benadrukken dat de AI Act geen vervanging is van bestaande regelgeving, maar een aanvulling. De eisen voor ‘high-risk AI’ kunnen worden geïntegreerd in de bestaande conformiteitsbeoordeling van medische hulpmiddelen. Opvallend is dat dezelfde notified bodies verantwoordelijk blijven voor zowel medische hulpmiddelen als AI-beoordelingen, wat efficiëntie en consistentie bevordert.
Datakwaliteit en transparantie cruciaal
Een ander kernpunt is dat de AI Act minimale eisen stelt aan datasetbeheer. In de zorg moeten datasets gevalideerd en specifiek afgestemd zijn op medische toepassingen. Het gebruik van onbetrouwbare data kan leiden tot foutieve diagnoses of behandeladviezen.
Daarnaast verplicht de wet fabrikanten transparant te zijn over gebruikte technologie en trainingsdata. Dit is essentieel in een tijd waarin nieuwe AI-architecturen, zoals autonome systemen en machine-to-machine communicatie, steeds vaker voorkomen.
Vertrouwen als sleutel tot adoptie
Volgens CPME en HOPE is vertrouwen de belangrijkste voorwaarde voor brede adoptie van AI in de zorg. Zonder duidelijke certificering en toezicht blijft implementatie achter. De AI Act draagt bij aan dat vertrouwen door eisen te stellen aan:
- menselijke controle (human oversight)
- transparantie en uitlegbaarheid
- validatie van AI-modellen
- monitoring van prestaties
- logging en aansprakelijkheid
Hierdoor krijgen zorgprofessionals meer inzicht in en grip op AI-systemen.
De ondertekenaars roepen het Europees Parlement en de lidstaten op om medische AI expliciet binnen de AI Act te houden. Alleen zo kan Europa volgens hen een veilige en betrouwbare digitale zorgomgeving creëren, waarin innovatie hand in hand gaat met patiëntveiligheid. De open brief kan hier ingezien worden (pdf).
AI versterkt risico's digitalisering
Al in 2023 waarschuwde het Rathenau Instituur, naar aanleiding van een op een literatuurstudie gebaseerd onderzoek op verzoek van het ministerie van Binnenlandse Zaken en Koninkrijksrelaties dat generatieve AI bestaande risico’s van digitalisering versterkt en nieuwe bedreigingen introduceert. In een onderzoek, gebaseerd op literatuurstudie, expertinterviews en werksessies, concludeert het instituut dat huidige en geplande regelgeving mogelijk onvoldoende is om deze risico’s te beheersen.
Generatieve AI vergroot onder meer de kans op discriminatie, desinformatie en onveiligheid, terwijl transparantie over de werking van systemen verder afneemt. Daarnaast ontstaan nieuwe risico’s, zoals schending van intellectueel eigendom en een groeiende invloed van grote technologiebedrijven op sectoren als zorg, onderwijs en wetenschap. Dit zet ook democratische processen onder druk, bijvoorbeeld via manipulatie van informatie en het publieke debat.
Het instituut pleitte daarom voor strengere en beter afgestemde regelgeving, inclusief de mogelijkheid om risicovolle AI-systemen te verbieden. Tegelijk benadrukt het dat organisaties en burgers nu al moeten afwegen of verantwoord gebruik van generatieve AI mogelijk is.
