De Britse National Health Service (NHS) heeft in het Foresight-project (Foresight betekent zoveel als vooruitziendheid) de gegevens van ongeveer 57 miljoen inwoners van Engeland gebruikt om een gelijknamig AI-model te trainen. Het project, geleid door onderzoekers van University College London en King’s College London, heeft als doel om een innovatief, AI-gedreven systeem te ontwikkelen waarmee artsen, zorgplanners en beleidsmakers de gezondheidsuitkomsten van inwoners van het Verenigd Koninkrijk beter kunnen voorspellen. Dat zou de preventieve gezondheidszorg in het VK moeten gaan transformeren. Toch is er ook een aantal zorgen over de ontwikkeling van Foresight, juist vanwege de omvang van de gebruikte dataset.
Het Foresight-project is – in ieder geval volgens de NHS zelf – een baanbrekend AI-initiatief dat de voorspellende gezondheidszorg in het VK gaat transformeren. De intentie van de NHS is namelijk om met hun AI-model onder andere beter te voorspellen wanneer mensen ziek worden en in het ziekenhuis opgenomen moeten worden: een doel met de COVID-19-pandemie en daaraan gerelateerde overbelasting van de ziekenhuiscapaciteit in het achterhoofd. Om zo nauwkeurig mogelijke voorspellingen te kunnen doen, is de AI getraind op een enorme hoeveelheid gezondheidsgegevens: de medische data van 57 miljoen mensen die gebruik maken of maakten van NHS-zorg.
Data van alle Engelsen
De eerste versie van het Foresight AI-model werd in 2023 gelanceerd en was gebaseerd op GPT-3 van Open AI. Op dat moment was het model nog getraind op de gegevens van ‘slechts’ 1,5 miljoen patiënten die behandeld werden in twee Londense ziekenhuizen. Sindsdien is het AI-model opgeschaald, waardoor Foresight volgens de ontwikkelaars het grootste generatieve AI-model gebaseerd op gezondheidsdata van dit moment is.
De huidige versie maakt gebruik van het open-source AI-model Llama 2 van Meta en omvat acht verschillende datasets die bestaan uit medische gegevens die routinematig worden verzameld door de NHS, waaronder data over vaccinaties, bezoeken aan poliklinieken, ziekenhuisopnames en patiëntdossiers. In totaal bevat de huidige versie van Foresight daarmee 10 miljard verschillende gezondheidsgebeurtenissen, die toebehoren aan ongeveer 57 miljoen personen. Dat staat gelijk aan de volledige Engelse bevolking.
Omdat het model nog uitvoerig wordt getest, doen de ontwikkelaars op dit moment geen uitspraken over hoe goed Foresight werkt. Hun hoop is dat Foresight in de toekomst een brede bijdrage kan gaan leveren aan de Britse gezondheidszorg. Van het stellen van diagnoses tot het voorspellen van gezondheidstrends, bijvoorbeeld in het aantal ziekenhuisopnames. Idealiter weet de NHS straks gezondheidscomplicaties te voorspellen voordat ze plaatsvinden, waardoor zo vroeg mogelijk ingegrepen kan worden en op grote schaal preventieve zorg kan worden geleverd.
Zorgen over dataprivacy
De potentiële voordelen van Foresight zijn groot, maar er zijn ook zorgen. Vooral de privacy van de personen wiens gegevens gebruikt worden om het AI-model mee te trainen, wordt in twijfel getrokken. Daar lijkt een van de positieve aspecten van Foresight, de enorme hoeveelheid data waar het model op is getraind, gelijktijdig een nadeel te vormen. De gegevens zijn zodanig rijk aan informatie, dat enkel het weghalen van basisgegevens – zoals een naam en geboortedatum – geen garantie biedt dat de data niet verbonden kunnen worden aan de identiteit van een persoon. De vraag is of het wel mogelijk is om deze hoeveelheid gegevens niet-identificeerbaar te maken, iets wat de ontwikkelaars wel claimen gedaan te hebben. Zo lang die dataprivacy niet gegarandeerd kan worden, is het in ieder geval belangrijk dat Foresight volledig onder controle van de NHS blijft.
Om het risico op identificatie te beperken, wordt op dit moment gewerkt binnen een beveiligde dataomgeving van de NHS. Als het goed is, zou dit moeten voorkomen dat gegevens kunnen worden gelekt. Het model en de data zijn momenteel dan ook alleen beschikbaar voor onderzoekers die daartoe goedkeuring hebben. Digitale infrastructuur wordt geleverd door Amazon Web Services en het bedrijf Databricks, maar deze partijen hebben in principe geen toegang tot de data.
Publiek vertrouwen
Een andere zorg over Foresight is de reactie van het publiek. De gezondheidsgegevens van de NHS zijn gebruikt om het model te trainen, zonder dat de personen wiens data dit betreft daar toestemming voor hebben gegeven. Ook als gegevens geanonimiseerd worden, hebben sommige mensen ethische bezwaren tegen het gebruik ervan voor AI-toepassingen. Veel mensen willen de controle houden over hun eigen gegevens, zeker als het om gezondheidsdata gaat. En dat kan het publieke vertrouwen in AI, de gezondheidszorg en overheden verder schaden.
Op dit moment is het lastig voor mensen om te kiezen voor een ‘opt-out’. Alle gegevens waarop Foresight getraind wordt, komen uit de datasets van de NHS en zijn in theorie geanonimiseerd. Daardoor is het onnodig om een opt-out-mechanisme aan te bieden, zo vindt de NHS in ieder geval.
GDPR
De GDPR, die ondanks Brexit ook in het VK geldt, schrijft voor dat personen de mogelijkheid moeten hebben om hun persoonlijke gegevens te beschermen. Gezien de grote hoeveelheid gegevens en het (beperkte) anonimiseren daarvan, is het onmogelijk om individuele databestanden te verwijderen.
Daarnaast vindt de NHS dat Foresight niet getraind wordt op persoonlijke gegevens, juist omdat de data is geanonimiseerd. En daarom zou de GDPR niet op Foresight van toepassing zijn. De relatie tussen de GDPR en LLM’s zoals Foresight is juridisch gezien onduidelijk, waarbij onder andere de vraag naar voren komt wanneer data echt als anoniem kan worden gezien. Foresight wordt momenteel alleen nog gebruikt voor onderzoeken die verband houden met COVID-19, waardoor de onderzoekers menen gebruik te mogen maken van beleidsuitzonderingen voor databescherming die tijdens de pandemie zijn afgegeven.
Gepauzeerd
De zorgen en ophef die zijn ontstaan over het grootschalige gebruik van gezondheidsdata bij het trainen van Foresight, hebben ertoe geleid dat het project begin juni is stilgelegd. Het gezamenlijke IT-comité van de British Medical Association (BMA) en de Royal College of General Practicioners (RCGP) gaf aan dat ze niet op de hoogte waren gebracht van het feit dat de data die oorspronkelijk werden verzameld voor onderzoek naar COVID-19 ook ingezet werden om een AI-model te trainen. Daarnaast nemen ze het consortium dat aan Foresight werkt kwalijk dat het project niet aan een adviesraad van artsen is voorgelegd voordat de data aan het AI-model werden gevoerd.
Volgens de RGCP is het vertrouwen van patiënten beschadigd doordat gegevens gebruikt zijn op een manier waarvoor geen expliciete toestemming is gegeven. De artsenorganisatie geeft aan dat Britse huisartsen de veiligheid van de medische gegevens van hun patiënten zeer serieus nemen, en dus zeker willen weten dat deze data niet worden gebruikt buiten de staande afspraken, zoals volgens hen wel is gebeurd bij het trainen van Foresight. Patiënten zouden zich geen zorgen moeten hoeven te maken over of de informatie die zij met hun huisarts delen, zonder toestemming gebruikt wordt voor het trainen van AI.
De RGCP is bang dat AI-innovaties – die gezien de hoge werklast van Britse huisartsen broodnodig zijn – ondermijnd worden door projecten die het publieke vertrouwen in AI schaden. Het gezamenlijke IT-comité heeft NHS Engeland dan ook verzocht om het Foresight-project te pauzeren, zodat de situatie beter onderzocht kan worden voordat meer data verwerkt wordt door het AI-model. De NHS lijkt naar deze oproep te hebben geluisterd: het Foresight-project is voorlopig gepauzeerd.
AI moet problemen voorkomen
De NHS ontwikkelt een AI-toepassing om veiligheidsproblemen in realtime te signaleren en cruciale inspecties eerder te starten. Patiënten profiteren volgens de Britse nationale zorgorganisatie van een veiligere behandeling dankzij snellere identificatie van zorgproblemen en betere kwaliteitsborging van gegevens. Het initiatief maakt deel uit van het Plan for Change van de Britse overheid om NHS-diensten te verschuiven van analoog naar digitaal in het kader van het 10-jarig zorgplan.
Patiënten moeten de komende jaren betere zorg ontvangen dankzij het volgens de NHS mondiaal eerste AI-systeem voor vroegtijdige waarschuwing. Het systeem heeft als doel om automatisch veiligheidsproblemen binnen de NHS te identificeren en storingen te voorkomen voordat ze escaleren. De plannen vloeien voort uit een belofte van de minister van Volksgezondheid en Sociale Zorg om de regelgeving voor gezondheidszorg te herzien, slechte prestaties aan te pakken en patiënten veilige en hoogwaardige zorg te garanderen.
Er is de afgelopen jaren steeds meer bezorgdheid ontstaan over de veiligheid binnen de NHS na een reeks schandalen, waaronder in de geestelijke gezondheidszorg en kraamzorg. Het nieuwe veiligheidswaarschuwingssysteem moet snel zorggegevens analyseren en de alarmbel luiden bij opkomende veiligheidsproblemen.
