De afgelopen jaren is AI-software (kunstmatige intelligentie) een veelgebruikt hulpmiddel geworden in Amerikaanse ziekenhuizen. Ze wordt gebruikt om te helpen bij diagnoses, om de toestand van patiënten te monitoren en om te waarschuwen bij plotselinge veranderingen. Er lijkt zich echter een zorgwekkende trend af te tekenen: sommige verzorgers zien zich gedwongen om blindelings de instructies van het algoritme op te volgen, zelfs als ze weten dat het een vergissing is. 

De Wall Street Journal berichtte onlangs over een aangrijpend geval dat dit probleem illustreert. Cynthia Girtz, een verpleegster die voor Kaiser Permanente Medical Group werkt in een callcenter in Californië, kreeg een telefoontje van een voormalige tennisspeler die klaagde over hoesten, pijn aan de borst en koorts. Met behulp van de AI-software van haar instelling volgde ze de aanbevelingen op door een eenvoudige telefonische afspraak met een arts voor te stellen. De software stond alleen een spoedconsult toe in het geval van het ophoesten van bloed, een optie die meer geschikt zou zijn geweest voor deze patiënt. Als gevolg hiervan werden de longontsteking en andere ernstige problemen pas gediagnosticeerd toen het te laat was en overleed de patiënt een paar dagen na het telefoontje.  De verpleegkundige werd verantwoordelijk gesteld omdat ze vond dat ze haar klinische oordeel had moeten gebruiken om het algoritme te negeren. “Onder druk van dit beleid beschouwde verpleegster Girtz de aanbeveling als een richtlijn”, concludeerde de rechter. De verpleegkundige had, “ondanks het beleid van Kaiser, de plicht om een redelijke verpleegkundige beoordeling te geven”. Als werkgever van de verpleegkundige werd Kaiser veroordeeld tot het betalen van ongeveer 3 miljoen dollar aan de familie.

In een schriftelijke verklaring zei Kaiser dat algoritmische aanbevelingen “triage-aanbevelingen, geen richtlijnen” zijn en dat van verpleegkundigen wordt verwacht dat ze deze afstemmen op de specifieke behoeften van elke patiënt. Verpleegkundigen hebben de bevoegdheid om de protocollen te negeren op basis van hun klinische oordeel. 

In een ander voorbeeld werd Melissa Beebe, een verpleegkundige van de oncologieafdeling in het UC Davis Medical Center, door de software gewaarschuwd voor mogelijke sepsis bij een patiënt. Met haar 15 jaar ervaring wist ze dat dit een vergissing was en dat de patiënt in feite aan leukemie leed. Geconfronteerd met deze situatie was Melissa Beebe volgens de regels van het ziekenhuis verplicht om de protocollen voor het melden van sepsis te volgen. Hoewel ze de AI kan omzeilen met toestemming van een arts, riskeert ze disciplinaire maatregelen als ze een fout maakt. Daarom besloot ze de opdracht van het algoritme op te volgen en bloed af te nemen bij de patiënt, ondanks de risico’s op infectie en extra medische kosten. “Als een algoritme zegt: ‘Uw patiënt lijkt sepsis te hebben’, kan ik niet helder denken. Ik moet gewoon doen wat het me zegt te doen”, zegt deze verpleegkundige, die ook een vertegenwoordiger is van de vakbond California Nurses Association.

Uiteindelijk bleek het algoritme niet te kloppen, wat het ethische dilemma waar Melissa Beebe voor stond nog eens versterkte. “Ik demoniseer technologie niet,” zegt ze, “maar ik voel morele angst als ik weet wat ik moet doen en het niet kan doen.”

Het probleem ligt niet zozeer bij AI zelf, dat onmiskenbaar vooruitgang in de geneeskunde mogelijk heeft gemaakt, maar eerder bij hoe het wordt gebruikt. Het algoritme zou een eenvoudig hulpmiddel moeten zijn om beslissingen te nemen, maar in sommige ziekenhuizen wordt het gebruikt zonder voldoende training of flexibiliteit, waardoor de aanbevelingen worden opgelegd aan zorgverleners. Zorgverleners kunnen onder druk komen te staan van de ziekenhuisadministratie om de instructies van de AI op te volgen zonder enige andere keuze.

Uit een recent onderzoek bleek dat voor een kwart van de ondervraagde verpleegkundigen de aanbevelingen van het algoritme volgens hun klinische oordeel niet in het belang van de patiënt waren. Slechts een derde van hen kon afwijken van deze aanbevelingen zonder voorafgaande toestemming van een arts of supervisor. Dit gebrek aan flexibiliteit in het gebruik van AI roept ethische vragen op en benadrukt de noodzaak om de grenzen van het algoritme in een klinische context te erkennen.

AI moet niet worden gezien als een op zichzelf staande oplossing, maar eerder als een hulpmiddel dat de vaardigheden en expertise van zorgverleners aanvult. Het is essentieel dat ziekenhuisdirecties de grenzen van AI op medisch gebied begrijpen en ervoor zorgen dat het gebruik ervan in nauwe samenwerking met zorgprofessionals gebeurt. Dit zorgt voor betere patiëntenzorg en voorkomt tragedies veroorzaakt door algoritmische fouten.

> Lees het artikel in de Wall Street Journal