Clínica Alemana de Santiago (Chili) heeft LLM's (large language modellen) geïntegreerd in het elektronische patiëntendossiersysteem (EPD) ter ondersteuning van klinische taken zoals het samenvatten van dossiers, het genereren van rapporten en het verbeteren van de communicatie met patiënten. Dr. Alejandro Mauro, hoofd digitale transformatie, legt uit wat cruciaal is voor een veilig en effectief gebruik van LLM's.
Clínica Alemana heeft LLM’s geïntegreerd in het EPD-systeem. Hoe werkt deze integratie precies?
In november 2022 werd ChatGPT gelanceerd en verraste de wereld met nieuwe mogelijkheden voor de verwerking van taal. Degenen onder ons die eerdere taalmodellen, zoals BERT, RoBERTa of medicalBERT, hadden onderzocht en “getest zonder te implementeren”, waren zich bewust van hun potentieel, maar ook van de beperkingen en de moeilijkheid om ze veilig in een medische omgeving te integreren.
ChatGPT integreren in EPD
De opkomst van ChatGPT betekende een keerpunt en voegde toe wat eerdere modellen misten: herhaalde training met menselijke feedback, ook wel Reinforcement Learning with Human Feedback (RLHF) genoemd.
In december 2022 begonnen we na te denken over use cases voor integratie in ons EPD, waarbij we klinische casussen ontwikkelden en eerste tests uitvoerden. Op dat moment was het technisch niet haalbaar om ChatGPT rechtstreeks in het EPD te integreren, maar we hadden er vertrouwen in dat de technologie zich zou ontwikkelen. De kans kwam toen Microsoft de veilige uitvoering van OpenAI-modellen in een private cloud infrastructuur op Azure mogelijk maakte, waardoor we het project konden versnellen.
Zoals bij elke innovatie ging dit gepaard met aanzienlijke risico's en ontbrak het ons aan praktische ervaring met de implementatie van LLM's in het EPD. Daarom besloten we om de ontwikkeling te starten met een solide governance- en controlesysteem, waarmee we prompts konden maken, bewerken, publiceren en onderhouden, en precies konden definiëren waar in het EPD het gebruik ervan zou worden toegestaan.
AlemanaGPT
Zo ontstond AlemanaGPT in april 2023. We gaven prioriteit aan het project en bouwden eerst de promptmanager, vervolgens de EPD-modules voor het aanroepen en ten slotte implementeerden we het in oktober 2023, bijna een jaar na de release van ChatGPT.
De eerste functionaliteiten waren:
- EPD-samenvatting. Degenen onder ons die EPD's ontwikkelen, weten dat we ondanks jarenlang ontwerpen van robuuste en goed georganiseerde systemen vaak eindigen met platforms die onpraktisch zijn om te beoordelen in de realtime eisen van de klinische praktijk. De komst van ChatGPT bood de mogelijkheid om dit historische probleem op te lossen: honderden pagina's gestructureerde en ongestructureerde klinische informatie omzetten in een duidelijke, bruikbare samenvatting, waardoor professionals het meeste uit de 20-30 minuten van een consult kunnen halen.
- Het genereren van medische rapporten automatiseert documenten die worden aangevraagd door verzekeringsmaatschappijen, onderwijsinstellingen of andere instanties, op basis van een klinische notitie of de volledige geschiedenis van de patiënt, en vervangt daarmee wat clinici beschouwen als “administratieve” taken.
- Het opstellen van vragen voor coassistenten helpt docenten bij het genereren van vragen op basis van klinische casussen om het onderwijs te vergemakkelijken en de creatieve werklast van de docent te verminderen.
- Patiëntenfolders helpen bij het vertalen van technische medische taal naar eenvoudig Spaans dat begrijpelijk is voor niet-medische personen.
- Verbetering van klinische aantekeningen heeft tot doel korte medische teksten uit te breiden en te verfijnen tot een completere, duidelijkere en grammaticaal correcte versie.
- Suggesties voor behandelplannen is een experimentele functie die na drie maanden is ingetrokken omdat de risico's groter waren dan de voordelen.
Al deze tools zijn aangepast aan het specialisme en het werkgebied, zodat bijvoorbeeld een samenvatting voor een dermatoloog niet hetzelfde is als een samenvatting voor een chirurg, maar is afgestemd op de specifieke behoeften van elk vakgebied.
Kunt u beschrijven wat cruciaal was om LLM's gebruiksvriendelijk en veilig te maken?
Vooral de mogelijkheid om veilige beschikbaarheid te garanderen via private clouds die volledig voldoen aan de wettelijke vereisten, zowel de Chileense regelgeving als de internationale normen. Veel mensen zijn zich er door technische onwetendheid niet van bewust dat ze door het gebruik van openbare tools die worden gehost op gedeelde infrastructuur van bedrijven als Meta, OpenAI of Google, gevoelige patiëntgegevens kunnen blootstellen en mogelijk hun rechten schenden.
Wij als experts begrijpen hoe we opkomende technologieën veilig en binnen strikte regelgevingskaders kunnen implementeren. Daarom hebben we, toen Microsoft, een van de clouds waarmee we werken, ons aanbood om ons te helpen bij de ontwikkeling van het project in onze private cloud, niet geaarzeld en zijn we onmiddellijk begonnen met het voorleggen van het voorstel aan de medische en juridische afdelingen.
Hoe bent u de invoering van LLM's aangegaan, van de eerste stappen tot de evaluatie en het voortdurende onderhoud van het systeem?
We zien ons EPD als een levend organisme dat moet groeien en evolueren; elk systeem dat niet evolueert, is gedoemd te verdwijnen. Voor ons was dit project gewoon een volgende stap in die evolutie.
We brengen verbeteringen aan het EPD meestal zonder grote aankondigingen uit, door ze gewoon beschikbaar te maken voor iedereen of voor bepaalde gebruikers. Het is waardevol om te zien wie de veranderingen opmerkt en ze uitprobeert. Zo is dit project begonnen: we hebben het AlemanaGPT-pictogram op verschillende plaatsen in het EPD toegevoegd en het gedrag van gebruikers geobserveerd: wie klikte erop, welke functies waren het meest aantrekkelijk, wie gebruikte het nooit, wie probeerde het een keer en wie gebruikte het regelmatig?
Op basis van die informatie hebben we drie groepen geïdentificeerd om in gesprek te gaan en hun ervaringen, percepties en verbetermogelijkheden te begrijpen. Dankzij de feedback konden we de prompts optimaliseren, de aanpassingen voor specialismen bijstellen en de functionaliteiten verfijnen.
AlemanaGPT is een levend project, met wekelijkse veranderingen. Dit houdt in dat we regelmatig met klinische teams vergaderen voor feedback, voortdurend prompts verbeteren en de gebruikte taalmodellen aanpassen. We hebben ons aanvankelijk gericht op GPT-3.5 en gebruiken nu verschillende modellen van OpenAI, Anthropic en Google, afhankelijk van de taak.
Zelfs vóór LLMs had de kliniek al verschillende algoritmen geïmplementeerd in klinische workflows. Kunt u enkele voorbeelden geven van AI-tools die de meest positieve impact hebben gehad?
Sinds 2018, na een reis naar Israël – de thuisbasis van talrijke AI-modellen voor de gezondheidszorg – implementeren we AI-algoritmen om ervaring op te doen en de toepasbaarheid ervan in onze culturele en klinische context te beoordelen. Elk jaar testen we 2-4 commerciële modellen met certificeringen die we kunnen valideren als veilig voor gecontroleerde proeven. Het gebruikelijke proces is om ze zes maanden te testen en op basis van de resultaten te beslissen of ze permanent worden opgenomen of worden afgedankt. Uit deze jaren wil ik drie belangrijke projecten noemen:
- RapidAI is een reeks modellen die na een beroerte bruikbaar hersenweefsel identificeert, waardoor behandelingen mogelijk worden die met traditionele methoden zonder deze ondersteuning onmogelijk zouden zijn. Honderden beroertepatiënten in de Clínica Alemana hebben hiervan geprofiteerd, waardoor de gevolgen aanzienlijk zijn verminderd.
- LimbusAI is aangepast in ons radiotherapiecentrum en contourt CT-scans van organen om te voorkomen dat ze worden bestraald – een essentiële stap voor een veilige behandelingsplanning – wat vroeger tot drie uur in beslag nam. Met dit AI-algoritme is het proces teruggebracht tot slechts twee minuten, waardoor tijd en middelen worden geoptimaliseerd.
- DeepC. Een van de uitdagingen bij de integratie van AI is dat elk algoritme een langdurig project met configuraties, contracten en parameterisatie met zich meebrengt. DeepC, een soort marktplaats voor AI-modellen, stelt ons in staat om met een paar muisklikken nieuwe modellen te implementeren en te testen, waardoor de installatietijd drastisch wordt verkort en proeven worden versneld.
Welke belangrijke lessen hebt u geleerd bij de invoering van geavanceerde technologieën die andere zorginstellingen ten goede kunnen komen?
De belangrijkste les is dat geen enkele technologie alle gevallen oplost of perfect is. Veel technologieën lijken revolutionair en beloven een doorbraak, maar pas bij de implementatie worden de werkelijke reikwijdte en beperkingen duidelijk.
Het voordeel van de volwassenheid om snel te kunnen testen, is dat we ook snel kunnen afwijzen. We evalueren veel technologieën, maar slechts een paar blijven in productie, namelijk die welke echte, blijvende waarde opleveren.
Onze meest betrouwbare maatstaf is eenvoudig: gebruiken zorgprofessionals het? Zo ja, dan voegt het waarde toe; zo niet, dan weten we dat we ergens anders moeten zoeken.
De volgende fase van AI-ontwikkeling betreft AI-agents, en u hebt al een modulair multi-agentplatform ontwikkeld. Kunt u beschrijven hoe dit systeem werkt?
In 2024 verschenen er tal van publicaties over AI-agents en Retrieval-Augmented Generation (RAG) met veelbelovende ontwikkelingen. We besloten op zoek te gaan naar een technologiepartner om een agent voor ons EPD te helpen ontwikkelen.
In samenwerking met een meer ervaren team ontdekten we dat de reikwijdte niet beperkt moest blijven tot het EPD, maar moest worden uitgebreid naar alle klinische systemen: patiëntenportaal, website, facturering en meer. Zo ontstond het Clínica Alemana Agent System, dat in maart 2025 in productie werd genomen.
Met dit systeem kunnen we eenvoudig agents creëren en koppelen aan onze informatiesystemen, waardoor we een gecentraliseerd, modulair platform bieden dat waarde toevoegt aan alle software, zowel eigen als commerciële. Agenten kunnen verschillende “tools” integreren die veilig toegang geven tot klinische gegevens en deze transformeren en analyseren via LLM’s.
De eerste drie implementaties staan gepland voor de komende maanden:
- Een EPD-agent waarmee professionals kunnen “chatten” met het medisch dossier van een patiënt en specifieke vragen kunnen stellen. De agent doorzoekt het hele dossier, inclusief testresultaten, en geeft de informatie terug in het gevraagde formaat.
- Een beveiligde AI-portal voor professionals om het risicovolle uploaden van identificeerbare klinische gegevens naar openbare systemen te voorkomen, met een ‘privé ChatGPT’ binnen onze cloud.
- Een klinische protocolagent waarmee protocollen via chat kunnen worden opgevraagd, zelfs in honderden pdf's, en die in een later stadium kan worden geïntegreerd met het EHR om automatisch de naleving te controleren.
U bent momenteel Chief Digital Transformation Physician en was voorheen Chief Information Officer. Wat is het verschil tussen deze twee functies?
Specialisatie in medische informatica is zeldzaam in Latijns-Amerika, waar maar weinig opleidingscentra zijn. De overtuiging dat “iedereen over technologie kan praten en projecten in deze discipline kan leiden” heeft geleid tot veel mislukte initiatieven, om redenen die goed gedocumenteerd zijn in de wetenschappelijke literatuur.
Het is alsof je een dermatoloog de leiding geeft over een intensive care en verwacht dat het sterftecijfer niet stijgt. Elk gebied van de geneeskunde vereist expertise, en gezondheidsinformatica is daarop geen uitzondering. Het heeft zijn eigen onderzoek, literatuur en kennis.
In 2012 kreeg ik van Clínica Alemana de opdracht om de ontwikkeling en evolutie van hun informatiesystemen te leiden. Ik heb de afdeling Biomedische Informatica opgericht, een medische afdeling die op hetzelfde niveau staat als orthopedie, kindergeneeskunde of algemene chirurgie. Ik heb deze afdeling van 2012 tot 2022 geleid en ben daarna hoofd digitale transformatie geworden, waar ik me richt op baanbrekende projecten.
Momenteel verdeel ik mijn tijd tussen het lezen van artikelen, het volgen van cursussen, het verkennen van nieuwe technologieën en het uitvoeren van geselecteerde innovatieve projecten.
Hoe brengt u de invoering van technologieën met bewezen klinische voordelen in evenwicht met de noodzaak om te experimenteren met baanbrekende innovaties, de hype rond AI te vermijden en te zorgen voor naleving van de steeds veranderende regelgeving?
We zijn zeer sceptisch en laten ons leiden door bewijzen, maar we zijn ons er ook van bewust dat gezondheidsinformatica een sociaal-technische discipline is waarin de organisatiecultuur een doorslaggevende rol speelt.
We evalueren technologieën objectief en methodisch, waarbij we eerst de risico's van experimenteel gebruik in kaart brengen. Dit omvat het beoordelen van validatiestudies, FDA/CE-certificeringen en technische documentatie.
Vervolgens voeren we pilot tests uit met professionals om directe indrukken te verzamelen, gevolgd door grotere proeven voordat we oplossingen voor alle gebruikers beschikbaar stellen. Ten slotte monitoren we de impact: het gebruik, de frequentie, de context en de daadwerkelijk geleverde waarde.
U benadrukt vaak dat geen enkel AI-systeem effectief is zonder hoogwaardige gegevens. Hoe heeft u de gegevenskwaliteit bij Clínica Alemana gewaarborgd?
Dat is misschien wel de achilleshiel van alle gezondheidsinformatiesystemen. In veel gevallen werd digitalisering gedreven door productiviteitsbehoeften, waarbij facturering voorrang kreeg boven klinische zorg. Dit betekende dat papieren formulieren zonder veel nadenken rechtstreeks in het systeem werden overgezet.
Dit is de nachtmerrie van gezondheidsinformatiesystemen wereldwijd: complexe platforms, onvolledige gegevens, gefragmenteerde dossiers. De rol van specialisten in biomedische informatica is om deze “standaardroute” te doorbreken, die alleen maar frustratie oplevert.
Ons EPD is gebruikersgericht, erkent verschillende klinische behoeften en vermijdt een “one size fits all”-benadering. We bouwen zeer flexibele systemen met behoud van de gegevenskwaliteit als kernprincipe. Meerdere formulieren voeden gemeenschappelijke kennisdomeinen, waardoor fragmentatie wordt voorkomen.
We gebruiken klinische terminologie die de echte professionele taal weerspiegelt en vermijden misbruik van classificaties zoals ICD in contexten waarvoor ze niet zijn ontworpen. Een ontwerpsysteem zorgt voor consistente bruikbaarheid, zodat nieuwe functies snel kunnen worden geleerd en er geen nieuwe training van het personeel nodig is.
Tegenwoordig zijn alle beslissingen gebaseerd op betrouwbare, hoogwaardige gegevens. We hebben nauwkeurige meetcriteria en ondersteunen professionals die afwijken van de normen voor gegevensinvoer, waarbij we feedback gebruiken om de praktijk te verbeteren en de acceptatie te waarborgen.
Van algoritmen tot LLM's tot AI-agenten, hoe motiveert u zorgprofessionals om nieuwe tools te gebruiken en welke principes hanteren jullie om technologische overbelasting te voorkomen?
Jarenlange vloeiende, constante communicatie tussen zorgprofessionals en de afdeling Biomedische Informatica hebben ervoor gezorgd dat ons systeem zo goed werkt. We ontwerpen oplossingen op basis van directe feedback van gebruikers en wanneer ideeën uit ons team komen, werken we altijd samen met iemand om de bruikbaarheid ervan te valideren.
Alles begint met een probleem, nooit met een technologie. Als er geen echt probleem is, doen we niets, ongeacht de technologische trends. Dit heeft een authentieke innovatiecultuur gecreëerd in de kliniek, waar professionals het gevoel hebben dat ze problemen kunnen aankaarten en ruimte vinden voor reflectie, iteratie en snelle implementatie.
Om overbelasting te voorkomen, passen we geavanceerde personalisatie toe. Niet alle gebruikers zien hetzelfde; iedereen heeft toegang tot functies en weergaven op basis van zijn of haar profiel en behoeften. In de praktijk hebben we niet één EPD, maar een EPD dat is aangepast aan elke gebruiker, waardoor de integriteit van de gegevens behouden blijft en waardevolle gegevens beschikbaar zijn voor besluitvorming en AI-ontwikkeling.
