Dataset leert AI de afwijkingen op CT-scans aan te wijzen

Onderzoekers van Harvard Medical School hebben samen met een internationaal team een openbare dataset ontwikkeld waarmee AI-modellen niet alleen afwijkingen op CT-scans kunnen beschrijven, maar ook precies kunnen aanwijzen waar die zich bevinden. ReXGroundingCT koppelt radiologische omschrijvingen, zoals een kleine longnodus, aan specifieke locaties in driedimensionale CT-beelden.

De onderzoekers willen daarmee een belangrijk probleem bij medische AI aanpakken: artsen moeten bevindingen van een algoritme kunnen controleren. Volgens senior auteur Pranav Rajpurkar, universitair hoofddocent biomedische informatica aan Harvard Medical School, kan een AI-bevinding zo veranderen van een uitkomst die een arts moet vertrouwen in informatie die daadwerkelijk op het beeld kan worden geverifieerd.

AI moet laten zien waar afwijking zit

CT-onderzoek levert complexe driedimensionale beelden op, die radiologen doorgaans bekijken als een groot aantal afzonderlijke tweedimensionale doorsneden. In hun verslag beschrijven zij vervolgens niet alleen welke afwijkingen zichtbaar zijn, maar ook waar deze zich bevinden. Voor AI is die combinatie ingewikkeld. Een model moet een afwijking herkennen, deze correct in natuurlijke taal omschrijven én de beschrijving koppelen aan de juiste locatie binnen mogelijk honderden beelden. Dit proces wordt ‘grounding’ genoemd.

Voor ReXGroundingCT werkten onderzoekers ruim een jaar samen met medische annotatoren, studenten geneeskunde en radiologen. In totaal werden meer dan 16.000 afwijkingen handmatig gemarkeerd in 3.142 CT-scans. Iedere annotatie verbindt tekst uit een radiologisch verslag aan een specifieke locatie op de CT-scan. De annotaties werden vervolgens gecontroleerd door een gecertificeerd radioloog.

AI-modellen die met deze gegevens worden getraind, zouden uiteindelijk bijvoorbeeld niet alleen kunnen melden dat er een longnodus aanwezig is, maar ook exact kunnen markeren op welke voxel, het kleinste volume-element van een 3D-scan, de bevinding betrekking heeft. Daarmee krijgt iedere gerapporteerde bevinding visueel bewijs dat een radioloog zelf kan beoordelen.

Internationale benchmark

De onderzoekers hebben ReXGroundingCT openbaar beschikbaar gemaakt voor de wetenschappelijke gemeenschap. De dataset werd tevens gebruikt voor een internationale wedstrijd tijdens de International Conference on Medical Image Computing and Computer Assisted Intervention.

Daar gingen 53 teams uit vijftien landen aan de slag met verschillende methoden om natuurlijke taal aan locaties op CT-beelden te koppelen. Volgens Rajpurkar maakt de dataset het daarmee mogelijk om grounding niet alleen als onderzoeksconcept te bestuderen, maar verschillende AI-methoden ook volgens een gezamenlijke benchmark met elkaar te vergelijken.

De wedstrijd leverde volgens de onderzoekers nieuwe oplossingen op die de prestaties voor deze specifieke taak verder verbeterden. Het onderzoek betekent echter niet dat dergelijke modellen al zelfstandig in de klinische praktijk kunnen worden ingezet. ReXGroundingCT is in de eerste plaats bedoeld als trainings- en onderzoeksdataset voor verdere ontwikkeling van controleerbare medische AI.

Toepassingen voor onderwijs en patiënten

Naast ondersteuning van radiologen zien de onderzoekers mogelijkheden voor medisch onderwijs. Rajpurkar en eerste auteur Mohammed Baharoon ontwikkelden eerder al een AI-platform voor radiologieonderwijs op basis van geannoteerde röntgenbeelden. Studenten kunnen daarmee oefenen met het schrijven van verslagen en het lokaliseren van afwijkingen.

Met ReXGroundingCT willen de onderzoekers een vergelijkbare trainingsomgeving voor CT ontwikkelen. Dat is complexer, omdat CT-scans uit veel meer beeldinformatie bestaan dan conventionele röntgenfoto's. Ook patiënten zouden uiteindelijk van de technologie kunnen profiteren. Het onderzoeksteam ontwikkelde eerder een AI-systeem dat radiologische bevindingen via video's uitlegt. Door grounding daaraan toe te voegen, zouden dergelijke toepassingen patiënten niet alleen in begrijpelijke taal kunnen vertellen wat er op hun scan is gevonden, maar tegelijkertijd de betreffende plek kunnen aanwijzen.

Daarmee richt ReXGroundingCT zich op een bredere ontwikkeling binnen medische AI: modellen die niet alleen een conclusie produceren, maar hun bevindingen ook zodanig presenteren dat artsen ze rechtstreeks aan het onderliggende medische beeld kunnen toetsen.

Nederlandse AI-tool

In 2023 ontwikkelde de CAESAR-onderzoeksgroep van Amsterdam UMC een AI-tool die levertumoren bij patiënten met uitgezaaide darmkanker automatisch kan herkennen en intekenen op CT-scans. Daarmee sluit de ontwikkeling aan bij onderzoek naar AI die afwijkingen niet alleen detecteert, maar ook zichtbaar lokaliseert op medische beelden.

Traditioneel meten radiologen vóór en na chemotherapie handmatig de diameter van levertumoren om het effect van de behandeling te beoordelen. Dat kost tijd en geeft geen informatie over veranderingen in het volledige tumorvolume. De nieuwe AI-tool moet tumoren automatisch afbakenen en ook volumeveranderingen inzichtelijk maken.

Het model werd ontwikkeld met bijna honderd CT-scans waarop levertumoren handmatig waren ingetekend. Een belangrijk onderdeel van het project is de integratie in de software die radiologen dagelijks gebruiken. Daarmee richt het onderzoek zich niet alleen op technische prestaties, maar ook op daadwerkelijke toepassing binnen de klinische workflow. De tool wordt in de dagelijkse praktijk verder ontwikkeld.