Bias bij medische AI blijft vaak buiten beeld

Commerciële AI-toepassingen voor medische beeldvorming worden steeds vaker klinisch gevalideerd, maar veel onderzoeken geven onvoldoende inzicht in de prestaties bij verschillende patiëntengroepen. Daardoor is moeilijk vast te stellen of een algoritme even betrouwbaar werkt voor bijvoorbeeld mannen en vrouwen, verschillende leeftijdsgroepen of mensen met uiteenlopende etnische achtergronden. Dat blijkt uit een scoping review van onderzoekers van Osaka Metropolitan University.

Het onderzoeksteam onder leiding van Shannon L. Walston analyseerde validatiestudies van commercieel beschikbare AI-producten voor radiologie. Daarbij werd specifiek gekeken naar rapportage over geslacht, leeftijd en ras of etniciteit en naar de prestaties van algoritmen binnen deze subgroepen.

Zeer lage rapportage prestaties per subgroep

De onderzoekers verzamelden aanvankelijk 868 publicaties via PubMed en 678 registraties uit het Health AI Register. Uiteindelijk voldeden 545 validatiestudies naar 252 commerciële AI-producten van 142 fabrikanten aan de selectiecriteria. Van deze 545 onderzoeken rapporteerden 392 het aantal patiënten voor ten minste één demografische subgroep.

Slechts 83 studies presenteerden ook prestaties van het AI-systeem per subgroep. Zes daarvan vermeldden niet hoeveel patiënten tot de onderzochte subgroepen behoorden. Daarmee bleven 77 studies over waarin zowel de demografische samenstelling als de prestaties per subgroep werden gerapporteerd. Dat is ongeveer 14 procent van alle geïncludeerde onderzoeken.

Deze 77 studies onderzochten 52 commerciële AI-producten van 38 fabrikanten. Ook de hoeveelheid onafhankelijk onderzoek per product verschilde sterk. Voor 135 van de 252 producten vonden de onderzoekers slechts één validatiestudie, terwijl negen producten in minstens tien studies waren onderzocht. Het vaakst onderzochte product was Lunit Insight CXR, met 34 studies. Daarvan rapporteerden zestien resultaten voor ten minste één demografische subgroep. Opvallend is volgens de onderzoekers dat de rapportage van prestaties per demografische groep de afgelopen jaren niet duidelijk is toegenomen, ondanks de groeiende aandacht voor mogelijke bias in medische AI.

Te weinig patiënten voor betrouwbare conclusies

Alleen algemene prestaties van een algoritme rapporteren kan een vertekend beeld geven. Een AI-systeem kan op de totale onderzoekspopulatie goed presteren, terwijl de nauwkeurigheid voor een kleinere of ondervertegenwoordigde patiëntengroep lager ligt.

Om dit probleem te onderzoeken, analyseerde het team studies naar AI voor de detectie van tuberculose. Met de Wilson confidence interval-methode berekenden de onderzoekers of er voldoende patiënten beschikbaar waren om prestaties voor mannen en vrouwen betrouwbaar te beoordelen. Bij 67 procent van de gerapporteerde datasets bestond het risico dat er onvoldoende statistische power was voor een analyse naar geslacht.

Niet alleen de verhouding tussen verschillende groepen is daarbij relevant. Een minderheidsgroep kan relatief klein zijn, maar toch voldoende patiënten bevatten om statistisch betekenisvolle conclusies te trekken. Daarom is volgens de onderzoekers transparantie over de daadwerkelijke aantallen patiënten essentieel. Daar komt bij dat AI demografische kenmerken kan herkennen zonder daarvoor expliciet te zijn getraind. Daardoor kunnen ontwikkelaars en onderzoekers vooraf niet altijd voorspellen welke kenmerken relevant zijn voor mogelijke bias.

Betere standaarden voor validatie

De onderzoekers doen verschillende aanbevelingen om validatiestudies te verbeteren. Demografische gegevens zouden waar mogelijk ook moeten worden gerapporteerd wanneer onderzoekers vooraf geen verschil in prestaties verwachten. Bij ontbrekende lokale gegevens kunnen aanvullende tests met gestandaardiseerde benchmarkdatasets helpen om mogelijke verschillen tussen subgroepen zichtbaar te maken.

Daarnaast pleiten zij voor meer aandacht voor onafhankelijke en commerciële validatiestudies. Onderzoek naar producten die al op grote schaal worden gebruikt, is klinisch relevant maar wordt volgens de auteurs mogelijk minder snel als vernieuwend beschouwd. Gezamenlijke infrastructuren, bijvoorbeeld publiek-private samenwerkingen of externe kwaliteitslaboratoria, kunnen instellingen helpen dergelijke evaluaties uit te voeren.

Bestaande en nieuwe rapportagestandaarden zoals FUTURE-AI, MAIC-10, TRIPOD-AI en PROBAST-AI kunnen daarbij volgens de onderzoekers bijdragen aan meer transparantie. Ook een gestandaardiseerde presentatie van demografische gegevens en prestaties, vergelijkbaar met een factsheet voor AI-modellen, kan vergelijking eenvoudiger maken.

Vertrouwen vraagt om transparantie

Tot slot adviseren de onderzoekers om validatiestudies beter vindbaar te maken door specifieke zoektermen te gebruiken, waaronder product- en fabrikantnamen. De huidige zoek- en indexeringssystemen maken volgens hen onvoldoende onderscheid tussen commerciële en niet-commerciële AI.

Walston noemt de huidige validatiepraktijk gefragmenteerd. Zonder consistente informatie over patiëntengroepen en prestaties binnen die groepen blijft het lastig om mogelijke algoritmische bias goed te beoordelen. Meer gestandaardiseerde en transparante validatie moet uiteindelijk duidelijker maken of commerciële medische AI voor alle patiëntengroepen betrouwbaar presteert en zo het vertrouwen van zorgprofessionals en patiënten ondersteunen.

Bias in medische AI opsporen

Enkele weken geleden schreven we over G-AUDIT. Dit is een in de VS ontwikkelde analysetool die verborgen vertekeningen in datasets voor medische AI kan opsporen. In plaats van pas na ontwikkeling te beoordelen of een AI-model bias bevat, analyseert G-AUDIT vooraf de trainingsdata op kenmerken die tot verkeerde verbanden kunnen leiden.

G-AUDIT werd getest op medische beeldvorming, teksten en spreadsheets en rangschikt potentiële bronnen van bias naar risico. De onderzoekers willen hiermee ontwikkelaars, zorgorganisaties en toezichthouders helpen problemen eerder te signaleren. Een betere controle van trainingsdata moet voorkomen dat medische AI buiten de oorspronkelijke onderzoeksomgeving minder betrouwbaar presteert en zo bijdragen aan veiliger klinisch gebruik.