Europese AI-wet biedt zorg nog onvoldoende waarborgen

De Europese AI-verordening (bekend als de AI Act) biedt belangrijke bescherming tegen de risico's van kunstmatige intelligentie, maar garandeert niet dat AI-toepassingen ook aansluiten bij de waarden van patiënten en zorgprofessionals. Dat concluderen Nederlandse onderzoekers in een nieuwe studie naar DECIDE, een AI-systeem dat huisartsen moet ondersteunen bij het herkennen van verhoogde cardiovasculaire risico's. Volgens de onderzoekers vraagt verantwoorde AI in de zorg om meer dan naleving van wetgeving: ook de relatie tussen arts en patiënt, gezamenlijke besluitvorming en de praktische bruikbaarheid van technologie verdienen expliciete aandacht.

Het onderzoek is uitgevoerd door een multidisciplinair team van onder meer de Universiteit Leiden, het LUMC, TU Delft, Hogeschool Rotterdam en de Patiëntenfederatie Nederland. De centrale vraag was in hoeverre de Europese AI Act daadwerkelijk bescherming biedt aan de waarden die betrokkenen belangrijk vinden bij medische AI.

DECIDE als praktijkvoorbeeld

De onderzoekers gebruikten DECIDE als casus. Dit AI-systeem is in ontwikkeling om huisartsen te ondersteunen bij het vroegtijdig identificeren van patiënten met een verhoogd risico op hart- en vaatziekten. DECIDE analyseert bestaande medische gegevens, bijvoorbeeld uit elektronische patiëntendossiers, om mogelijke cardiovasculaire risico's zichtbaar te maken. Het systeem richt zich onder meer op mensen bij wie nog geen hart- of vaatziekte is vastgesteld, maar bij wie preventieve maatregelen mogelijk zinvol zijn.

Het uitgangspunt is dat AI niet zelfstandig medische beslissingen neemt, maar informatie aanreikt die huisarts en patiënt kunnen gebruiken bij het bespreken van gezondheidsrisico's en mogelijke vervolgstappen. De onderzoekers analyseerden eerder verzamelde kwalitatieve gegevens uit workshops met verschillende belanghebbenden. Daarbij waren onder anderen huisartsen, praktijkmedewerkers en patiëntenvertegenwoordigers betrokken.

De waarden die tijdens deze bijeenkomsten naar voren kwamen, werden vergeleken met de zeven uitgangspunten voor betrouwbare AI van de Europese deskundigengroep op het gebied van kunstmatige intelligentie. Vervolgens onderzochten de wetenschappers in hoeverre deze waarden worden beschermd door de AI Act.

Wetgeving dekt niet alle zorgwaarden

De analyse laat zien dat de AI Act belangrijke waarborgen bevat voor onder meer menselijk toezicht, transparantie en het voorkomen van discriminatie. Toch bieden deze bepalingen volgens de onderzoekers slechts gedeeltelijk bescherming aan wat patiënten en zorgprofessionals belangrijk vinden. Dat komt mede doordat de AI Act sterk gericht is op productveiligheid en het voorkomen van schade. Binnen de gezondheidszorg spelen echter ook waarden die moeilijker in technische of juridische eisen zijn te vertalen.

De onderzoekers onderscheiden drie aanvullende aandachtspunten. Het eerste betreft een positieve benadering van gezondheid en welzijn. Een AI-systeem moet niet uitsluitend voorkomen dat patiënten schade ondervinden, maar ook daadwerkelijk bijdragen aan hun gezondheid en kwaliteit van leven. Het tweede aandachtspunt is de relatie tussen zorgverlener en patiënt. Gezamenlijke besluitvorming, vertrouwen en persoonlijke begeleiding zijn belangrijke onderdelen van goede zorg. Een technisch betrouwbaar algoritme kan deze aspecten niet vanzelfsprekend waarborgen.

Het derde punt betreft de context en praktische bruikbaarheid van AI-adviezen. Een risico-inschatting heeft weinig waarde wanneer een huisarts onvoldoende tijd heeft om deze te bespreken of wanneer passende vervolgzorg ontbreekt. Daarmee maken de onderzoekers onderscheid tussen een systeem dat aan wettelijke eisen voldoet en een toepassing die daadwerkelijk verantwoord kan functioneren binnen de dagelijkse zorgpraktijk.

Meer werkdruk en overdiagnostiek

De conclusies uit het onderzoek onderschrijven die uit een eerder artikel dat wij over DECIDE publiceerden. Daarin werden vooral een aantal lessen beschreven voor verantwoorde implementatie van AI in de eerstelijnszorg. Een belangrijke conclusie was dat AI niet als losstaande technologie moet worden ingevoerd. De toepassing moet aansluiten op bestaande werkprocessen en beschikbare zorgcapaciteit.

Dat is vooral relevant bij preventieve AI-systemen. Wanneer een algoritme grote aantallen patiënten als risicovol identificeert, kan dat leiden tot extra consulten, diagnostiek en verwijzingen. Als veel waarschuwingen achteraf onterecht blijken, ontstaat bovendien het risico op onnodige ongerustheid en overdiagnostiek. Ook autonomie speelt een belangrijke rol. Niet iedere patiënt wil voortdurend worden geïnformeerd over mogelijke toekomstige gezondheidsrisico's. Een AI-toepassing moet daarom ruimte bieden om af te zien van aanvullende informatie of vervolgacties. Daarnaast vraagt het gebruik van patiëntgegevens om zorgvuldige communicatie over privacy, toestemming en gegevensverwerking.

De onderzoekers wijzen erop dat de belangen van patiënten en zorgprofessionals niet altijd volledig samenvallen. Een systeem dat vanuit preventief oogpunt aantrekkelijk is, kan tegelijkertijd extra belasting veroorzaken voor huisartsen of ongewenste gevolgen hebben voor patiënten. Juist daarom is het belangrijk dat deze verschillende perspectieven al tijdens de ontwikkeling worden meegenomen.

Contractuele afspraken als aanvulling

Een opvallende aanbeveling uit het nieuwe onderzoek betreft de rol van contractuele afspraken tussen zorginstellingen en AI-ontwikkelaars. Volgens de onderzoekers kunnen dergelijke overeenkomsten aanvullende waarborgen bieden voor waarden die onvoldoende expliciet worden beschermd door de AI Act. Daarbij kan worden gedacht aan afspraken over begrijpelijke uitleg van AI-resultaten, ondersteuning bij de interpretatie ervan en de verantwoordelijkheden van betrokken partijen.

Deze afspraken vervangen de bestaande wetgeving niet, maar kunnen helpen om de technologie beter te laten aansluiten bij de zorgplicht van professionals en de verwachtingen van patiënten. De onderzoekers benadrukken wel dat hun analyse is gebaseerd op kwalitatieve gegevens uit Nederland. De resultaten kunnen daarom niet zonder meer worden gegeneraliseerd naar andere landen of zorgsystemen. Ook richtte het juridische onderzoek zich voornamelijk op regelgeving rond productveiligheid.

Verantwoorde AI begint bij de praktijk

In 2024 schreven wij over de visie van Ger Janssen, Principal Data & AI Scientist bij Philips, met betrekking tot verantwoord AI gebruik (in de zorg) Hij benadrukte dat organisaties voorzichtig moeten beginnen met AI, vooraf risico's moeten beoordelen en de resultaten kritisch moeten blijven controleren. Die benadering krijgt met het DECIDE-onderzoek een bredere betekenis. Menselijk toezicht is noodzakelijk, maar niet voldoende wanneer de technologie onvoldoende aansluit op de behoeften van patiënten en de dagelijkse praktijk van zorgprofessionals.

De belangrijkste les is daarmee dat verantwoorde medische AI niet uitsluitend een technische of juridische opgave is. Ook de inrichting van zorgprocessen, professionele autonomie, patiëntvoorkeuren en de beschikbaarheid van vervolgzorg bepalen of een toepassing daadwerkelijk waarde toevoegt.

De Europese AI Act biedt daarvoor een belangrijke basis. Maar zoals het DECIDE-onderzoek laat zien, ontstaat betrouwbare AI in de zorg uiteindelijk pas wanneer wettelijke bescherming wordt verbonden met de waarden en omstandigheden van de mensen die ermee moeten werken.