Onderzoekers van Johns Hopkins University hebben, samen met de Amerikaanse FDA, een nieuwe analysetool ontwikkeld die verborgen vertekeningen in de datasets achter medische AI-systemen kan opsporen. De technologie moet voorkomen dat kunstmatige intelligentie verkeerde verbanden leert uit trainingsdata, waardoor onbetrouwbare voorspellingen kunnen ontstaan die de patiëntenzorg negatief beïnvloeden.
De onderzoekers hopen dat de methode ontwikkelaars, zorgorganisaties en toezichthouders helpt om medische AI betrouwbaarder en veiliger te maken voor klinisch gebruik. De resultaten van het onderzoek, uitgevoerd in samenwerking met de Amerikaanse Food and Drug Administration (FDA), zijn gepubliceerd in npj Digital Medicine.
Slimme Hans-effect
AI-modellen die worden ingezet voor precisiegeneeskunde leren patronen herkennen in grote hoeveelheden medische gegevens. Hoewel deze modellen vaak zeer nauwkeurige voorspellingen doen, kunnen ze ook onbedoeld verbanden leggen die niets met de onderliggende medische aandoening te maken hebben. De onderzoekers verwijzen daarbij naar het zogeheten Slimme Hans-effect. Begin vorige eeuw leek het paard Hans ingewikkelde rekensommen te kunnen oplossen door met zijn hoef te tikken. Later bleek dat het dier geen wiskunde beheerste, maar subtiele lichaamstaal van zijn begeleider gebruikte om het juiste antwoord te bepalen.
Volgens de onderzoekers kunnen AI-modellen op vergelijkbare wijze verkeerde signalen oppikken. Zo bleek een AI-model dat het geslacht van personen op basis van oogfoto's voorspelde, in werkelijkheid vooral af te gaan op de aanwezigheid van mascara in plaats van op biologische kenmerken. "Wij trainen modellen om zo voorspellend mogelijk te zijn, maar hebben nauwelijks controle over welke kenmerken een model uiteindelijk gebruikt om tot een voorspelling te komen", zegt senior onderzoeker Mathias Unberath van Johns Hopkins University.
Niet alleen het model controleren
Om dat probleem aan te pakken ontwikkelde het onderzoeksteam de tool Generalized Attribute Utility and Detectability-Induced Bias Testing (G-AUDIT). Waar bestaande methoden vooral beoordelen hoe een AI-model presteert nadat het is ontwikkeld, richt G-AUDIT zich op de trainingsdata zelf. De tool analyseert datasets op verborgen kenmerken die een AI-model ertoe kunnen verleiden verkeerde conclusies te trekken. Vervolgens rangschikt G-AUDIT deze kenmerken op basis van het risico dat zij een bron van bias vormen.
Volgens medeonderzoeker Mitchell Pavlak betekent dit een belangrijke verschuiving in de ontwikkeling van medische AI. In plaats van achteraf te controleren of een model ongewenste vertekeningen bevat, wordt al tijdens de voorbereiding van de data onderzocht welke problemen waarschijnlijk zullen ontstaan.
De onderzoekers testten de methode op uiteenlopende medische datasets, waaronder beeldmateriaal, tekstbestanden en spreadsheets. Daarbij kwamen verborgen verschillen aan het licht in onder meer de manier waarop data waren verzameld, de gebruikte beeldvormingsapparatuur en andere contextuele factoren die niets zeggen over de gezondheid van een patiënt, maar wel invloed kunnen hebben op de voorspellingen van AI.
Klinische context misleidt AI
Een van de voorbeelden betrof een dataset met huidkankerbeelden afkomstig uit twee verschillende klinieken. De ene kliniek behandelde vooral patiënten met een hoog risico op huidkanker, terwijl de andere een algemene dermatologische praktijk was met aanzienlijk minder kankergevallen. Doordat beide locaties verschillende camera's gebruikten, bestond het risico dat een AI-model de kwaliteit van de camera als voorspeller voor huidkanker zou gaan beschouwen. Ook bleek dat één van de klinieken regelmatig linialen op foto's plaatste om de groei van huidafwijkingen in de tijd te volgen. Een AI-model zou daardoor kunnen leren dat de aanwezigheid van een liniaal samenhangt met huidkanker, terwijl dit slechts een gevolg is van de werkwijze van de betreffende kliniek.
Volgens Unberath kunnen dergelijke foutieve verbanden grote gevolgen hebben wanneer AI-systemen buiten de oorspronkelijke onderzoeksomgeving worden toegepast, bijvoorbeeld via foto's die met een smartphone zijn gemaakt. Omdat daar geen liniaal of specifieke camera aanwezig is, kunnen de voorspellingen minder betrouwbaar worden en zelfs leiden tot ongelijkheid in de zorg.
De onderzoekers willen G-AUDIT verder uitbreiden en verwachten dat de methode uiteindelijk ook buiten de gezondheidszorg kan worden ingezet. Volgens hen verschuift de focus daarmee van het uitsluitend controleren van AI-modellen naar het systematisch beoordelen van de kwaliteit en samenstelling van de data waarop die modellen zijn gebaseerd. Dat moet helpen om verborgen vertekeningen eerder op te sporen en de betrouwbaarheid van AI-toepassingen in de klinische praktijk verder te vergroten.
Bang zijn voor AI-AI-bias?
In editie 5 van 2025 publiceerden wij een uitgebreid artikel over een Stanford University (VS) onderzoek waarin gesteld wordt dat LLM’s (large language models, de basis voor gen AI-toepassingen) die gevraagd worden om te kiezen tussen informatie gegenereerd door een LLM of door een mens, vaak voor de LLM-optie gaan. Daarmee rees de vraag of er sprake was van zogenoemde AI-AI-bias. Wij spraken destijds met Pieter Jeekel, voorzitter van de Nederlandse AI-coalitie en vroegen hem onder andere of de zorg bang moet zijn voor AI-AI-bias.
Hij verwachtte echter dat het allemaal wel meevalt in zorgorganisaties. “Enerzijds geeft AI de voorkeur aan AI-content, en anderzijds wordt er ook steeds meer door AI gegenereerd. Daardoor wordt menselijke content verdrongen.” Volgens Jeekel kan het niet anders dan dat de ontwikkelaars van LLM’s AI-AI-bias nauwlettend in de gaten houden en hiervoor (gaan) corrigeren. “Anders wordt de output van een AI-model op een gegeven moment onbruikbaar en de LLM zelf ook.” Lees het complete interview in ons online magazine.
