Een nieuwe AI-tool heeft meer dan 250.000 wetenschappelijke publicaties over kanker geïdentificeerd die mogelijk afkomstig zijn van zogenoemde ‘paper mills’. Deze bedrijven produceren op grote schaal vervalst of kwalitatief ondermaats onderzoek. De tool is ontwikkeld door professor Adrian Barnett van de Queensland University of Technology (QUT), samen met een internationaal onderzoeksteam.
Voor het onderzoek analyseerden de onderzoekers ruim 2,6 miljoen kankergerelateerde studies die tussen 1999 en 2024 verschenen. Daarvan vertoonden meer dan 250.000 publicaties schrijfpatronen die sterk overeenkomen met artikelen die eerder zijn ingetrokken wegens vermoedelijke fabricatie. Het gaat nadrukkelijk om signalen van mogelijke fraude, niet om vastgestelde gevallen. De resultaten zijn gepubliceerd in The BMJ.
“Zogenoemde ‘paper mills’ verkopen auteurschappen en kant-en-klare artikelen,” aldus Adrian Barnett. “Ze werken met hergebruikte teksten, onnatuurlijke formuleringen en soms verzonnen data of afbeeldingen. Onze bevindingen suggereren dat het probleem binnen het kankeronderzoek veel groter is dan tot nu toe werd aangenomen.”
Wetenschappelijke ‘spamfilter’
Het team trainde een taalmodel om subtiele tekstuele ‘vingerafdrukken’ te herkennen die vaker voorkomen in publicaties waarvan is vastgesteld dat ze door paper mills zijn geproduceerd. In tests met bekende voorbeelden wist het model in 91 procent van de gevallen verdachte artikelen correct te identificeren. “We hebben in feite een wetenschappelijk spamfilter gebouwd,” zegt Barnett. “Net zoals e-mailfilters ongewenste berichten herkennen, markeert onze tool artikelen die qua stijl en structuur overeenkomen met eerder ingetrokken, frauduleus werk.”
Uit de grootschalige analyse blijkt dat het aandeel verdachte publicaties de afgelopen twintig jaar sterk is toegenomen: van circa 1 procent begin jaren 2000 tot een piek van meer dan 16 procent in 2022. Het probleem doet zich voor bij duizenden tijdschriften, waaronder ook titels met een hoge impactfactor. Vooral binnen moleculaire kankerbiologie en vroeg stadium laboratoriumonderzoek komen veel verdachte publicaties voor. Bepaalde kankertypen, zoals maag-, lever-, bot- en longkanker, laten relatief hoge aantallen zien.
Redactionee screeningproces
Drie wetenschappelijke tijdschriften testen de tool inmiddels als onderdeel van hun redactionele screeningproces. Daarmee kunnen mogelijk vervalste manuscripten worden gesignaleerd voordat ze de peerreviewfase ingaan. Het onderzoeksteam wil het instrument verder ontwikkelen en toepassen in andere wetenschappelijke domeinen, waarbij menselijke experts altijd een beslissende rol houden bij de beoordeling.
“Kankeronderzoek vormt de basis voor klinische studies, geneesmiddelenontwikkeling en patiëntenzorg,” benadrukt Barnett. “Als vervalste studies deel gaan uitmaken van het wetenschappelijke bewijs, kunnen ze onderzoekers misleiden en de vooruitgang voor patiënten vertragen. Juist daarom is het cruciaal om dit probleem vroegtijdig aan te pakken.”
Meer transparantie met AI
Vorig jaar ontwikkelden onderzoekers van de Universiteit van Illinois Urbana-Champaign een AI-tool die automatisch ontbrekende of onvolledige informatie in rapporten van klinische proeven kan opsporen. Met behulp van geavanceerde NLP en deep learning analyseert het systeem gepubliceerde studies en controleert het of ze voldoen aan internationale rapportagestandaarden zoals CONSORT en SPIRIT. Daarmee wil het team de transparantie en betrouwbaarheid van medisch onderzoek vergroten.
Het probleem is wijdverbreid: zelfs goed uitgevoerde gerandomiseerde gecontroleerde studies missen vaak essentiële details, zoals duidelijke beschrijvingen van randomisatie, uitkomstmaten of patiëntenselectie. Dit belemmert de beoordeling van de kwaliteit van het bewijs en kan gevolgen hebben voor vervolgonderzoek en klinische besluitvorming. Handmatige controle is nauwelijks haalbaar door het grote aantal publicaties.
De AI werd getraind op 200 klinische onderzoeksrapporten en behaalde sterke prestaties, met F₁-scores tot 0,865 op artikelniveau. Het team werkt nu aan een lichtere, breed inzetbare versie die onderzoekers en tijdschriften gratis kunnen gebruiken. In de praktijk kan de tool manuscripten automatisch screenen en feedback geven vóór publicatie, wat verspilling vermindert, reproduceerbaarheid verbetert en evidence-based zorg ondersteunt.
