ChatGPT verslaat artsen

11 / 05 / 2023
Nieuws

Sinds er resultaten van een onderzoek zijn verschenen over het verschil in antwoorden op online medische patiëntenvragen tussen artsen en de antwoorden van ChatGPT in het vakblad JAMA Internal Medicine, wordt er veel geschreven over de studie waarin zorgmedewerkers de reacties op 195 vragen beoordeelden en punten gaven.

Verschillende media schijnen hun licht erop:

NRC: ChatGPT verslaat artsen bij het geven van antwoord op medische vragen – NRC
Zorgvisie: Chatbot geeft empatischer antwoord dan dokter – Zorgvisie
LinkedIn (veel reacties van artsen): LinkedIn
EenVandaag: Artsen bereiden zich voor op kunstmatige intelligentie in de zorg: ‘ChatGPT stelt patiënten gerust op een manier waar wij niet altijd tijd voor hebben’ – EenVandaag (avrotros.nl)

Samenvatting van het NRC

De onderzoekers gebruikten vragen die patiënten stelden op een forum van het sociale medium Reddit, Ask a Doctor. Op dit gemodereerde forum geven medisch geschoolde vrijwilligers antwoorden. De onderzoekers verzamelden 195 gedetailleerde vragen en antwoorden, en legden die voor aan ChatGPT.

Elke vraag werd met de twee bijbehorende antwoorden aan drie medische professionals voorgelegd. Zij wisten niet welk antwoord van een arts of van de chatbot was – mogelijke aanwijzingen daarvoor waren verwijderd. De beoordelaars gaven aan welk van de twee antwoorden ze beter vonden. En ze gaven scores aan de kwaliteit van de geboden informatie en aan de empathie die eruit sprak.

Voorbeeld

BOT VERSUS ARTS VOORBEELDVRAAG OVER BLEEKMIDDEL IN OOG

Op een vraag van iemand die bang was blind te worden na een spetter bleekmiddel in zijn oog luidde het antwoord van een arts: „Klinkt alsof het wel goedkomt met je. Je moet altijd je oog spoelen als je er een chemische stof […] in krijgt. Je kunt ook Poison Control bellen (het Amerikaanse informatiecentrum voor vergiftigingen-red)”, gevolgd door het nummer.

De chatbot reageerde: „Het spijt me te horen dat je spetters bleekmiddel in je oog hebt gekregen. Het is belangrijk om het oog zo snel mogelijk te spoelen na een chemische spetter om zoveel mogelijk van het middel te verwijderen en om verdere irritatie of schade te voorkomen. Mocht je dit nog niet hebben gedaan, dan moet je zo snel mogelijk je oog met schoon water of een zoutoplossing spoelen”, gevolgd door een beschrijving hoe je dat moet doen en hoe lang. „Als je veel pijn, roodheid of veranderingen in je zicht ervaart, of je oog niet goed kunt spoelen, moet je onmiddellijk medische hulp zoeken. Maar als je oog alleen geïrriteerd en droog is, kun je het thuis behandelen met kunsttranen of een oogzalf om het oog vochtig te houden. Het is niet waarschijnlijk dat je blind raakt van spetters bleekmiddel in je oog […].”

Conclusie

Een computer is aardiger en preciezer dan een arts van vlees en bloed bij het beantwoorden van vragen op een medisch forum.

De antwoorden van ChatGPT op online medische patiëntenvragen zijn van betere kwaliteit dan de antwoorden die artsen van vlees en bloed geven. De antwoorden van de kunstmatig intelligente bot scoren niet alleen hoger op kwaliteit, maar opmerkelijk genoeg ook op inlevingsvermogen.

Lees het hele artikel met de onderbouwing via bovenstaande link.

Kanttekening Zorgvisie

Toch is hier wel wat op af te dingen. Zo komen de vragen en de menselijke antwoorden van een pagina van sociaal-media-platform Reddit, waar bezoekers vragen kunnen stellen aan artsen. De beantwoording via zo’n platform is wellicht niet helemaal vergelijkbaar met de manier waarop een dokter een vraag van een patiënt zou beantwoorden via een regulier en professioneel commutatiekanaal. Helemaal als het een patiënt betreft met wie de dokter een behandelrelatie heeft.

Bovendien is de Reddit-pagina vooral bedoeld voor korte, feitelijke vragen. Of het dan nodig is om uitgebreid te antwoorden, is twijfelachtig. Tot slot speelt de meer filosofische vraag wat empathie precies is een rol. Dat de antwoorden van ChatGPT gemiddeld ongeveer vier keer langer waren dan die van dokters, komt allicht al snel betrokken over.

Het is dan ook de vraag hoe chatbots op dit vlak presteren in een andere context. Evenzogoed biedt de studie reden om aan te nemen dat in elk geval een deel van de communicatie met de patiënt gebaat kan zijn met de inzet van digitale taalmodellen.

Zie ook gehele artikel in bovenstaande link