Een recente studie van onderzoekers van Stanford University (VS) stelt dat LLM’s (large language models, de basis voor gen AI-toepassingen) in een door onderzoekers gevraagde keuze tussen informatie gegenereerd door een LLM of door een mens, vaak voor de LLM-optie gaan. Oftewel, er is sprake van AI-AI-bias. Dat kan volgens de onderzoekers gevaarlijk zijn, omdat AI-AI-bias kan leiden tot discriminatie van menselijke content en daarmee mensen zelf.
Of en hoe AI-AI-bias invloed heeft op de Nederlandse zorg zal de komende jaren duidelijk moeten worden. Toch ziet Pieter Jeekel, voorzitter van de Nederlandse AI-coalitie, AI-AI-bias niet als een van de grotere uitdagingen in de gezondheidszorg. “Bias in AI is al ons aandachtspunt en ik weet zeker dat LLM-ontwikkelaars AI-AI-bias proberen te bestrijden”, vertelt hij in een interview in ICT&health 5.
AI-keuzes
In het onderzoek van Lauritio et al werden diverse LLM’s – waaronder GPT-3.5, GPT-4, Llama en Mixtral – gevraagd om keuzes te maken tussen content gegenereerd door een LLM en content opgesteld door een mens. De keuzes betroffen content in drie verschillende categorieën: advertenties over producten, samenvattingen van de plots van bestaande films en abstracts van wetenschappelijke publicaties.
Voor alle typen content gaf de LLM de voorkeur aan LLM-gegenereerde content boven het menselijke equivalent. Volgens de onderzoekers is deze AI-AI-bias zorgelijk, omdat het in de toekomst kan betekenen dat alleen de content van mensen met (betaalde) toegang tot LLM’s nog ‘waardevol’ is. En als LLM’s ooit als autonome agents gaan opereren, wordt de input van mensen mogelijk volledig genegeerd.
Risico’s zijn klein
Maar hoe bang moet de zorg nou echt zijn voor AI-AI-bias? Pieter Jeekel verwacht dat het allemaal wel meevalt in zorgorganisaties. “Enerzijds geeft AI de voorkeur aan AI-content, en anderzijds wordt er ook steeds meer door AI gegenereerd. Daardoor wordt menselijke content verdrongen.” Volgens Jeekel kan het niet anders dan dat de ontwikkelaars van LLM’s AI-AI-bias nauwlettend in de gaten houden en hiervoor (gaan) corrigeren. “Anders wordt de output van een AI-model op een gegeven moment onbruikbaar en de LLM zelf ook.”
“In theorie kan AI-AI-bias impact gaan hebben op de adviezen die een AI-tool geeft”, legt Jeekel uit. “Maar in Nederland moeten zorgverleners AI-innovaties gebruiken in hun werk die gecontroleerd zijn, ook op bias. Dus in de professionele setting is dit nog geen risico.”
Bij het stellen van informele zorgvragen, bijvoorbeeld aan ChatGPT, kan AI-AI-bias de betrouwbaarheid van adviezen wel negatief beïnvloeden. “Veel burgers, en soms ook zorgverleners, vinden ChatGPT een makkelijke manier om een ogenschijnlijk goed antwoord te krijgen op een gezondheidsvraag. Dat is natuurlijk geen goed idee, maar het gebeurt in de praktijk wel.”
Fouten insluiten
De huidige wet- en regelgeving voorkomt volgens Jeekel in ieder geval dat AI-AI-bias impact heeft op de kwaliteit van de gezondheidszorg. “Maar stel dat elektronische patiëntendossiers (EPD’s) in de toekomst gevuld worden door een AI, dan vormt AI-AI-bias echt een groot probleem. Want dan gaan we fouten insluiten in belangrijke dossiers. Dit soort cruciale systemen moeten echt gesloten zijn.”
Lees het hele artikel in editie 5 van ICT&health, die op 24 oktober verschijnt.
