De toepassingen van AI reiken steeds verder en raken ook de wereld van softwareontwikkeling. Programmeurs hebben tegenwoordig beschikking over diverse AI-tools waarmee ze eenvoudig code kunnen genereren en daarmee routinetaken kunnen automatiseren. Toch waarschuwt Louise Kallen (Directeur Zorg bij PAQT) dat zorgorganisaties het ontwikkelen van software voorlopig nog niet kunnen overgeven aan AI. “AI begrijpt de context van de zorg niet. En begrip van die context is juist noodzakelijk om veilige, betrouwbare en gebruiksvriendelijke software te ontwikkelen.”
De ontwikkelingen met betrekking tot AI gaan razendsnel en AI-tools worden in toenemende mate onderdeel van ieders dagelijkse taken en werkzaamheden. Waarschijnlijk zijn weinig sectoren zo enthousiast over technologische innovaties als de IT-sector en AI is geen uitzondering. AI-tools zijn bijvoorbeeld steeds beter in het genereren van code, waardoor sommigen voorspellen dat er in de toekomst geen sofwareontwikkelaars meer nodig zijn.
Toch zal in de praktijk moeten gaan blijken waartoe AI allemaal wel en niet in staat is. Daarbij ligt het gebruik van AI in bepaalde sectoren – zoals de zorg – extra onder een vergrootglas. Gevoelige data en processen vragen namelijk om menselijke maat, die niet zomaar aan de kant geschoven kan worden ten behoeve van een veronderstelde efficiëntieslag.
Code is cheap?
Net als elders worden ook binnen de softwarewereld enorme stappen gemaakt op het gebied van AI, vertelt Louise Kallen. “Voorheen kon AI alleen gebruikt worden voor specifieke taken en waren de resultaten nog niet erg betrouwbaar. Maar de mogelijkheden breiden zich met de dag uit. Die groei is echt exponentieel.”
Kallen ziet dan ook dat AI steeds meer wordt ingezet voor de ontwikkeling van software, bijvoorbeeld bij het ontwikkelen van automatiseringsoplossingen. “Dat impliceert misschien dat mensen overbodig worden voor het genereren van kwalitatieve software, maar toch geloof ik daar niet in. Juist nu is het belangrijk om menselijke maat te houden in softwareontwikkeling.”
'Zorgsoftware behoeft menselijke aandacht'
Vanwege de opkomst van AI-gesteund coderen wordt in de softwarewereld wel eens ‘code is cheap’ geroepen. Oftewel: door AI is het schrijven van code niet langer een belangrijke of dure factor binnen de softwareontwikkeling. Toch kan deze uitspraak volgens Kallen het best met een korrel zout genomen worden. Zeker voor toepassingen in de zorg is code gegenereerd door AI alleen voorlopig onvoldoende om waardevolle software te bouwen.
Kallen ziet vier grote valkuilen die puur door AI gecodeerde software voor zorgtoepassingen vooralsnog in de weg staan: begrip van de context, verantwoordelijkheid, gebruiksvriendelijkheid en overzicht.
Begrip van wat nodig is
Een belangrijke voorwaarde voor het ontwikkelen van waardevolle software is het duiden van het probleem waaruit behoefte voor de software voortkomt. “AI weet niet waarom je een bepaalde software wil ontwikkelen en deze oorzaak is vaak ook bij de klant zelf aan de voorkant niet duidelijk”, zegt Kallen. “Alleen een mens kan de juiste afhankelijkheden in kaart brengen, stakeholders verbaal maar ook non-verbaal lezen en oorzaken en gevolgen aan elkaar koppelen.”
Om deze belangrijke aspecten te garanderen, is dus nog steeds menselijke input nodig, vervolgt Kallen. “Alleen mensen begrijpen de diepere vraag en de behoefte die achter die vraag schuilt en deze is essentieel om de juiste invalshoek voor een oplossing te bepalen.”
Zeker voor zorgorganisaties is het essentieel dat de context waarin de software zal opereren goed begrepen wordt. Kallen: “Dat gaat niet alleen over wet- en regelgeving, maar ook over processen en mensen. De zorg is een mensensector en dat aspect moet ook in software worden meegenomen. Bijvoorbeeld in keuzes rondom verandermanagement en implementatie. Maar ook begrip over wat de eindgebruikers in een bepaald proces moeten kunnen uitvoeren, is belangrijk. En welk deel door het systeem uitgevoerd mag worden.”
Het systeem kan zich bijvoorbeeld op administratieve of ondersteunende taken richten, maar beslissingstaken moeten voorlopig voorbehouden blijven aan de expertise van zorgprofessionals.
Verantwoordelijkheid
Een belangrijk vraagstuk bij softwareontwikkeling door AI is bij wie de verantwoordelijkheid voor eventuele fouten komt te liggen. “Hier is nog te weinig duidelijkheid over”, aldus Kallen. “Wat als AI een fout maakt? Wie is daar dan verantwoordelijk voor?” In de zorg gaat het wel om mensenlevens, waardoor fouten catastrofale gevolgen kunnen hebben. “Een zorgprofessional is eindverantwoordelijk voor het leveren van zorg. Als een zorgprofessional op basis van AI-advies de verkeerde zorg geeft aan een patiënt, blijft die zorgprofessional daarvoor eindverantwoordelijk.”
Softwareleveranciers die AI gebruiken, moeten daarom de juiste kennis in huis hebben van wet- en regelgeving om te weten bij wie verantwoordelijkheid ligt. “ISO- en NEN-certificeringen en de Europese AI-act zijn hierbij erg belangrijk, maar de wet- en regelgeving is nog niet over alle aspecten duidelijk. Op dit moment wordt daarom aangenomen dat de zorgprofessional zelf verantwoordelijk – of in ieder geval aansprakelijk – is voor eventuele fouten die voortvloeien uit AI-gegenereerde software. Er is dus voorlopig nog altijd sprake van de zogenaamde ‘human-in-the-loop’ bij (medische) besluitvorming.”
Gebruiksvriendelijkheid
Een menselijk perspectief is niet alleen cruciaal voor het ontwikkelen van de back-end van zorgsoftware, maar juist ook voor de vertaling van code naar een prettige gebruikerservaring. Kallen hierover: “Op dit moment is het nog lastig om met AI een aantrekkelijk product neer te zetten. Wellicht wordt dat in de toekomst makkelijker, maar voorlopig is dat echt nog een specialistisch vak. Ook bij UX/UI (user experience/user interface)-ontwikkeling is het essentieel om goed te begrijpen wat de eindgebruiker nodig heeft. Alleen dan is het mogelijk om de gebruikerservaring optimaal te maken.”
Niet – of slecht – in kaart brengen van de behoeften van eindgebruikers verhindert de adoptie van een software en kan weerstand creëren. In zo’n situatie lopen zorgorganisaties het risico dat de beoogde AI-tijdsbesparing een probleem veroorzaakt dat dusdanig groot is, dat de initiële tijdswinst tenietgedaan wordt.
Het grotere plaatje
De laatste – maar misschien wel belangrijkste – valkuil die Kallen benoemt, is dat AI geen zicht heeft op het grotere plaatje. “In software voor de zorg zijn integraties ontzettend belangrijk. Bijvoorbeeld in het EPD, het ECD of met overheids- of verzekeringssystemen. AI kan dat soort integraties niet zomaar realiseren. Vaak zijn deze systemen gesloten, en moet een software aan allerlei eisen voldoen om daaraan te mogen koppelen.”
Het overkomen van deze barrière vraagt om softwareontwikkelaars met de juiste expertise en connecties. Zorgspecifieke kennis maakt dat softwareontwikkelaars, in tegenstelling tot de huidige AI-tool, kunnen anticiperen op de eisen waaraan een software moet voldoen om geïntegreerd te worden in bestaande systemen.
Softwareoplossingen in de zorg zijn vaak niet opzichzelfstaand, maar onderdeel van een groter geheel. Daar moet al bij de ontwikkeling van een software rekening mee gehouden worden, om te voorkomen dat een product wordt neergezet wat in de praktijk helemaal niet gebruikt kan worden. Kallen: “Een softwarepartij moet kunnen denken vanuit een grotere architectuur. Misschien kan AI wel een softwareoplossing bouwen voor een specifiek doel, maar hoe maak je dit vervolgens onderdeel van het totale systeem?” Zowel technisch als organisatorisch gezien moet de context van een softwareoplossing dus goed in beeld zijn, en dat is iets wat AI (voorlopig) niet kan.
Context vergt menselijkheid
Gebrek aan context is misschien wel de rode draad in de huidige tekortkomingen van AI in softwareontwikkeling, vertelt Kallen: “De zorg telt zoveel gevoelige en mens-specifieke onderdelen binnen softwareontwikkeling, dat we simpelweg nog niet zonder menselijke kennis- en vaardigheden kunnen.”
Dat betekent nadrukkelijk niet dat AI geen enkele rol mag spelen. “Voor het ontwikkelen van bepaalde delen van code is AI nu zeker waardevol. Softwareontwikkeling kan daardoor bovendien een stuk sneller plaatsvinden”, benadrukt Kallen. “Bovendien zijn er ook al een hoop AI-oplossingen die in de zorg steeds breder worden ingezet, zoals speech-to-text, het genereren van documenten en het maken van samenvattingen.”
Sensitieve taken, zoals het doorgronden en toepassen van zorgcontext, blijven volgens Kallen echter voorbehouden aan menselijke experts, naar haar verwachting ook op de langere termijn. “Voor softwarebedrijven betekent dit dat kennis en expertise op het gebied van de menselijke kant van de zorg het onderscheid maakt.”
Is code cheap? Wellicht. Maar goede software zeker niet, concludeert Kallen. Niet als je als zorgorganisatie een bruikbaar en waardevol softwareproduct neer wil zetten, in ieder geval.
