Kunstig intelligens slo erfarne leger suverent
– Ved første øyekast virker dette oppsiktsvekkende. Men ser vi nærmere på studien er det mer forståelig, sier ekspert på kunstig intelligens.
I en ny studie fra USA ble 50 erfarne leger delt i to grupper.
Legene i begge gruppene ble utstyrt med seks pasientjournaler med symptomer og sykdomshistorie fra virkelige pasienter.
Den ene gruppen av leger skulle stille riktig diagnose på egen hånd.
Den andre gruppen skulle bruke språkmodellen ChatGPT som hjelpemiddel.
I tillegg ble ChatGPT fôret med de samme pasientjournalene og ble bedt om å finne ut hva som feilte pasientene.
ChatGPT vant duellen
Forskerne var spente på hvem av som raskest ville komme til en riktig diagnose.
Det viste seg at språkmodellen vant denne duellen suverent.
Alene klarte språkmodellen å stille 92 prosent av diagnosene korrekt, mens legene alene bare klarte 74 prosent.
De legene som benyttet språkmodellen, endte med 76 prosent riktige diagnoser.
Både styrker og svakheter
Michael Riegler er professor ved OsloMet og forsker på kunstig intelligens. Han har lest studien.
Det er en godt designet studie. Samtidig finnes det viktige svakheter i metoden forskerne benytter seg av, mener Riegler.
Da ChatGPT skulle finne diagnosene selv, hadde de fått perfekt formulerte spørsmål fra forskerne.
Disse var utviklet og forbedret gjennom gjentatte forsøk.
Legene som fikk tilgang til KI-systemet, måtte derimot formulere spørsmålene selv.
De fikk ikke noen spesiell opplæring i hvordan de best skulle kommunisere med ChatGPT.
Dårlige sammenligninger
Nøkkelen ligger altså i hvordan KI blir brukt, mener Riegler.
– Dette blir som å sammenlikne en ekspert som bruker et verktøy med noen som nettopp har fått tilgang til det samme verktøyet.
Når KI-systemet presterte bedre alene enn når leger brukte det, reflekterer dette mer hvordan spørsmålene ble stilt enn den faktiske nytten av KI i klinisk praksis, mener Riegler.
– Dette forteller oss mer om hvor viktig det er hvordan man stiller spørsmålet til KI-systemet enn om systemet faktisk har evne til å støtte klinisk diagnostikk i praksis.
Alle som bruker KI i praksis, må ha ordentlig opplæring, mener KI-eksperten.
Han synes det derfor er påfallende at studien ikke inkluderte opplæring av legene.
– Dette gjør det vanskelig å vurdere systemets reelle potensial i klinisk praksis, sier Riegler.
Skal ikke erstatte klinisk praksis
Studien viser at teknologien har potensial, men også at vellykket innføring av den krever mer enn bare tilgang til teknologien, mener professoren.
Han mener at vi ikke er der ennå at leger uten videre kan ta kunstig intelligens i bruk.
– Vi må utvikle bedre grensesnitt mellom lege og KI og gi dem grundig opplæring i effektiv bruk av verktøyene.
Kunstig intelligens må integreres på en måte som støtter, ikke erstatter, klinisk vurdering, mener forskeren.
Les hele artikkelen her:
