Een onderzoeksteam van het Universitair Ziekenhuis Tübingen heeft op 13 augustus in npj Digital Medicine een evaluatie gepubliceerd van GPT-5, toegepast op multidisciplinaire oncologische consulten (MOC). De studie onderzocht een hypothese die zelden werd getoetst: wanneer een groot taalmodel de rol krijgt van een chirurg, een medisch oncoloog of een radiotherapeut, produceert het dan werkelijk verschillende klinische redeneringen, of slechts een aan elke specialiteit aangepast taalgebruik rond een ongewijzigde aanbeveling?
Honderd gevallen van gastro-intestinale kankers die tussen maart 2022 en december 2023 werden besproken tijdens een institutioneel multidisciplinair oncologisch consult (MOC), werden via een eenvoudige loting geselecteerd, met twintig gevallen voor elk van de vijf geselecteerde lokalisaties: slokdarm, maag, pancreas, galwegen en lever, en colon en rectum. Elke groep bestond uit tien eerste besprekingen en tien opvolgconsultaties. De geanonimiseerde klinische casussen werden aan GPT-5 voorgelegd volgens zes prompting-kaders, zonder voorafgaande voorbeelden: een gesimuleerd MOC dat als referentie diende, een multi-expert deliberation met een consensussynthese, drie afzonderlijke specialistische persona's en een meerderheidsstemming waarin deze drie persona's werden samengevoegd. De aanbevelingen werden ondergebracht in negen onderling exclusieve therapeutische categorieën, waarbij de gedocumenteerde MOC-beslissing als referentie diende. De interbeoordelaarsovereenkomst tussen twee arts-specialisten bereikte een kappa-coëfficiënt van 0,92 voor de 500 geclassificeerde antwoorden.
De overeenstemming met de MOC-beslissingen varieert van 78% tot 87%, afhankelijk van het gebruikte kader, zonder statistisch significant verschil tussen de zes benaderingen (Q van Cochran = 8,46; p = 0,133). De meerderheidsstemming behaalt de hoogste score, met 87%, tegenover 83% voor het gesimuleerde MOC. De chirurg en de medisch oncoloog behalen elk 84%, de radiotherapeut 78%. Het voor de gevraagde specialiteit kenmerkende taalgebruik komt voor in ongeveer 90 tot 100% van de antwoorden, maar de aanwezigheid ervan correleert voor geen van de drie rollen met de juistheid van de aanbeveling. De analyse van de semantic embeddings toont een hoge cosinussimilariteit tussen de persona's, van 0,805 tot 0,836, waarbij de aan de rol toe te schrijven variantie beperkt blijft tot 4,9%. De multi-expert deliberation, waarbij drie afzonderlijke redeneertrajecten vóór de synthese worden opgelegd, verhoogt die variantie tot meer dan 50%, zonder winst in overeenstemming.
Aanbevelingen die buiten het domein van de toegewezen specialiteit treden, vertegenwoordigen 61% van de antwoorden van de chirurg, 56% van die van de radiotherapeut en 38% van die van de medisch oncoloog. Antwoorden waarin gespecialiseerde en transdisciplinaire inhoud worden gecombineerd, behalen een overeenstemming van 87,8%, tegenover 75,5% voor antwoorden die binnen het toegewezen domein blijven. De Shannon-entropie tussen de specialismen bedraagt gemiddeld 0,277 bit, met volledige unanimiteit tussen de drie rollen in 72 van de 100 gevallen.
De auteurs besluiten dat GPT-5 zijn taalgebruik aanpast aan de klinische persona's zonder een overeenkomstige specialisatie in de structuur van zijn beslissingen te ontwikkelen, en dat het zich gedraagt als een intrinsiek multidisciplinair systeem dat steunt op gedeelde representaties. Zij zijn van mening dat deze resultaten het gebruik van grote taalmodellen als beslissingsondersteunende instrumenten ondersteunen, eerder dan als autonome simulaties van specialisten, en dat toekomstige vooruitgang zal afhangen van architecturale oplossingen, met name multiagentsystemen met gescheiden contexten en expliciete mechanismen om meningsverschillen op te lossen, eerder dan van een verdere verfijning van prompting-strategieën per rol.
