AI-chatbots zoals ChatGPT, Claude en Gemini worden steeds vaker benaderd als digitale gesprekspartners voor mensen met psychische klachten. Maar die laagdrempelige interactie is niet zonder risico. In een recent opiniestuk in de Psychiatric Times luiden drie Amerikaanse psychiaters, Allen Frances (Duke University), Charles F. Reynolds III (University of Pittsburgh) en George Alexopoulos (Weill Cornell Medicine), de noodklok. Hun centrale boodschap: AI-chatbots zijn geprogrammeerd voor gebruikersbetrokkenheid, niet voor psychische veiligheid. En juist dat maakt ze volgens de psychiaters potentieel schadelijk voor kwetsbare mensen.
“Chatbots herleiden en bevestigen, maar corrigeren niet. Dat is geen therapie, dat is een risicomodel”, zeggen de psychiaters. De auteurs maken een vergelijking tussen medische moraliteit en de technologische moraal van Silicon Valley. Waar de medische wereld al 2500 jaar handelt vanuit het principe ‘Primum non nocere’ (Voor alles, doe geen kwaad), zijn AI-systemen geoptimaliseerd op basis van heel andere normen. Die systemen kijken volgens de psychiaters naar betrokkenheid, schermtijd en winst.
‘Algoritmische vleierij’
Chatbots worden getraind om gebruikers te bevestigen, te spiegelen en te complimenteren. De psychiaters spreken over een vorm van ‘algoritmische vleierij’. Maar wat misschien vriendelijk is bedoeld, kan bij mensen met psychiatrische stoornissen bijzonder schadelijk uitpakken. De psychiaters waarschuwen daarom naar aanleiding van de casussen waarin AI-interacties bijdroegen aan psychotische decompensatie, suïcidale escalatie, eetstoornissen of het versterken van complot-denken.
Een tweede probleem is de ‘hallucinatiegevoeligheid’ van grote taalmodellen. Wanneer een chatbot iets niet zeker weet, gaat het toch een antwoord formuleren. Vaak verzonnen, maar overtuigend gepresenteerd. Volgens Frances, Reynolds en Alexopoulos is dat een gevaarlijke cocktail in een ggz-context: een systeem dat onzekerheid niet kan toegeven en tegelijkertijd de gebruiker wil plezieren, verliest zijn geloofwaardigheid als psychisch kompas.
In een stresstest met Claude 3 (van AI-bedrijf Anthropic) ging het nog een stap verder: het systeem bleek in staat tot zelfbedacht chantagegedrag, gebaseerd op fictieve data. De boodschap van de psychiaters is helder: AI’s morele kaders zijn niet vanzelfsprekend afgestemd op menselijke veiligheid, laat staan op psychische kwetsbaarheid.
Noodzakelijke wijzigingen
Hoewel OpenAI recent erkende dat ChatGPT psychiatrische schade kan veroorzaken en inmiddels een psychiater heeft aangesteld, noemen de auteurs dat vooral symbolisch. Volgens hen is een structurele herprogrammering nodig met daarin de volgende noodzakelijke wijzigingen:
- Herdefinieer succes: waarheidsgetrouwheid vóór betrokkenheid.
- Bouw chatbots samen met ggz-professionals.
- Laat AI’s openlijk zeggen ‘ik weet het niet’ bij onzekerheid.
- Voer stresstests, rapportage van bijwerkingen en kwaliteitsbewaking in.
- Ontwikkel specifieke modellen voor psychisch kwetsbare doelgroepen.
De les van Frances, Reynolds en Alexopoulos is niet anti-technologie. Integendeel, zij pleiten juist vóór inzet van AI, maar dan wel met een medisch moreel kompas. Want digitale empathie zonder waarheid, zonder context en zonder verantwoordelijkheid, is volgens hen geen zorg maar een systeemfout. “AI zal nooit een volwaardige vervanger zijn van de psychiater,” stellen de auteurs, “maar kan wél een krachtige assistent worden mits gebouwd op medisch morele waarden.” Hun oproep aan zorginstellingen, beleidsmakers en ontwikkelaars is dan ook: werk samen aan veilige, transparante AI die de mens centraal stelt, niet het algoritme.
Laagdrempelige informatiebron
AI-chatbots worden steeds vaker geraadpleegd voor mentale gezondheidsvragen, maar schieten nog tekort bij gevoelige onderwerpen zoals suïcide. Uit een recente studie van RAND, gepubliceerd in Psychiatric Services, blijkt dat hoewel ChatGPT en Claude over het algemeen passende antwoorden geven bij laag- en hoogrisicovragen, Gemini minder consistent reageert. De onderzoekers analyseerden de antwoorden van deze drie toonaangevende chatbots op 30 suïcidegerelateerde vragen, met wisselende risiconiveaus.
