Hvad kan vi lære af borgeres og patienters brug af AI?

I medierne hører man stadigt flere imponerende historier om danske borgere og patienter, som er gået til generative AI-chatbots såsom ChatGPT med helbredsrelaterede spørgsmål, og som har fået væsentlige, hvis ikke ligefrem livsreddende, svar. En ung kvinde blev ved med at abortere, indtil en chatbot påpegede glutenallergi som mulig årsag, på baggrund af hendes uploadede, anonymiserede sundhedsdata. Glutenallergien blev bekræftet, og kvinden blev kort efter gravid, fulgte en glutenfri diæt og fødte sit barn [1]. En journalist, som havde hævelser i ansigtet efter en vild nat i byen, fik af den praktiserende læge at vide, at det ville gå over af sig selv. Men det viste sig at være en punkteret lunge – som foreslået af ChatGPT på baggrund af symptombeskrivelser [2]. Og en standupkomiker blev indlagt med en livstruende halsbetændelse, efter i flere omgange at have ignoreret ChatGPT’s forslag om straks at søge læge [3].

Disse personlige historier er begyndt at fylde mere i mediernes fortælling om AI. Ellers har danske medier fortrinsvis skrevet om klinisk brug af AI i radiologien til detektion af brystkræft, i akutmedicinen som prædiktionsredskab for hjerteanfald eller som AI-assistent til at lette dokumentationsbyrden. Her ser mange positivt på brugen af AI, særligt når det er under kyndig overvågning af sundhedsprofessionelle, som kan validere outputs og korrigere for bias og hallucinationer. Men, når det er borgere og patienter, som benytter sig af AI til sundhedsformål, dukker flere bekymringer op: Bør patienter søge AI-svar på helbredsspørgsmål, når svarene kan være forkerte? Kan de overskue problemer med datasikkerhed, når personlige sundhedsdata deles? Og hvem har ansvaret, hvis de følger fejlagtige råd, som kan få katastrofale følger for deres helbred? Der er dog også optimistiske stemmer, som peger på muligheder for hurtige, personaliserede og empatiske svar på helbredsbekymringer, anvisninger til egenomsorg og mere relevante henvendelser til sundhedssystemet [4]. 

I denne artikel anlægger vi et humanistisk og samfundsvidenskabeligt blik på borgeres og patienters brug af AI. AI – kunstig intelligens – er en meget bred betegnelse, som i princippet dækker over ethvert it-system, der kan udføre opgaver, som ellers typisk vil kræve menneskelig intelligens. De seneste år er betegnelsen i daglig tale nærmest blevet synonymt med deep learning-metoder, herunder Large Language Models (LLMs) eller generativ AI, som kan genere tekst og billeder baseret på gigantiske mængder data. Men også andre typer AI-teknologier, som baserer sig på maskinlæring, som vi kender det fra f.eks. Spotify’s anbefalinger, inddrages i denne artikel. Vi vil i det følgende først redegøre kort for emner i den eksisterende etiske debat om muligheder og risici ved borgere og patienters brug af AI. Derefter undersøger vi, hvad borgere og patienters faktiske brug af AI fortæller om vores nuværende og fremtidige sundhedsvæsen. Hvis patienter og borgere oplever, at AI-chatbotter og avancerede algoritmiske systemer er løsningen, hvad er så problemet? Og er AI faktisk den rette løsning? 

Risici forbundet med ukritisk brug af AI

I den eksisterende litteratur er der stor fokus på risikoen for, at chatbots og sundhedsteknologier tager fejl og potentielt øger eksisterende problemer med diagnostisk usikkerhed, strukturelle bias og overdiagnostik. Det er et velkendt problem, at AI-modeller ikke er bedre end de data, de er trænet på, og at mangler og skævheder i historiske data kan forværres gennem brugen af AI. Når eksisterende datasæt reflekterer strukturel ulighed, herunder risiko for både under- og overdiagnostik, er der altså en risiko for, at sådanne bias overtages og forstærkes af AI-modeller, selv når de er udviklet med modsatte hensigt [5, 6]. Mange AI-baserede sundhedsteknologier sælges direkte til forbrugere og er ikke underlagt regulering eller evaluering af validitet og konsekvenser for brugernes sundhed. Bekymringer for overdetektion og fejl har f.eks. være rejst i forbindelse med markedsføringen af smartwatches og apps til »hjemmescreening« for asymptomatisk hjerteflimren [7] og modermærkekræft [8]. I et nyere studie foretog forskere i sundhedskommunikation og internationale eksperter i kræftscreening en systematisk sammenligning af ChatGPT’s svar på spørgsmål om screening og evidensbaserede guidelines for brystkræft og prostatakræft [9]. Studiet viste, at de fleste svar var i overensstemmelse med eksisterende guidelines, men også at ChatGPT i 15% af de udvalgte evalueringskriterier gav »hallucinerende svar« (irrelevant, opdigtet eller uforståelig information). Selv når digitale diagnostiske chatbots udvikles af sundhedsmyndighederne, såsom symptomtjekkere under COVID-19-pandemien, rejses spørgsmål om, hvem der har ansvaret for eventuelle fejl [10]. 

En anden vigtig bekymring handler om datasikkerhed. For at få forklaringer på symptomer eller testresultater deler borgere i stigende grad sundhedsdata fra elektroniske patientjournaler med AI-chatbots [11]. I de fleste tilfælde gemmes de data på firmaernes servere som ressource til træning af apps såsom ChatGPT og DeepSeek. Dataeksperter advarer imidlertid både læger og borgere imod at dele følsomme oplysninger med chatbots, fordi firmaerne generelt ikke er underlagt GDPR-regulering og er sårbare over for hackerangreb, datalæk og misbrug [12]. Derudover rejser nye samarbejder mellem eksempelvis ChatGPT og Apple Health spørgsmål om, hvordan sundhedsdata bliver gemt og brugt på tværs af flere kommercielle firmaer [13].

Spørgsmål om, hvorvidt vi kan stole på chatbots – både på deres svar og datahåndtering – er vigtige i en tid, hvor flere og flere borgere bruger AI-baserede sundhedsteknologier og chatbots. Samtidig er det nyttigt at hæve blikket fra problemerne med udvalgte teknologier og spørge, hvorfor det er attraktivt for mange borgere og patienter at bruge teknologierne i deres søgen efter sundhedsrelaterede svar eller hjælp til håndtering af kronisk sygdom. 

Hvorfor og hvordan bruger borgere og patienter AI-chatbots i sundhedssammenhænge?

Hvad der fremføres som succeshistorier for ChatGPT i starten af artiklen er eksempler på, at borgere søger information hos chatbots, når de har sundhedsspørgsmål, som de ikke selv kender svaret på – præcis som de har gjort hos »Dr. Google« i efterhånden mange år. Der er intet nyt i, at mennesker selvdiagnosticerer, og der er heller ikke noget nyt i, at sundhedsprofessionelle udtrykker bekymring eller frustration, når patienter ikke kommer til dem først [14]. Det nye ligger snarere i tilgængeligheden og den oplevede kvalitet af de givne svar. 

En national spørgeskemaundersøgelse i Australien indikerer, at brugen af ChatGPT er højere blandt grupper, som ofte møder barrierer i adgang til sundhed, herunder borgere med lav uddannelse og andet modersmål end majoritetsbefolkningen [15]. I et interviewstudie pegede informanterne ikke overraskende på, at chatbots var nemme at anvende og personalisere, fordi man kan stille spørgsmål og få svar formuleret i almindeligt hverdagssprog [16]. Endnu vigtigere var tilgængelighed og bekvemmelighed – at man har adgang døgnet rundt, ikke skal vente på at få en aftale med en sundhedsperson eller på at komme i gennem på en travl telefonlinje og kan bruge så meget tid med botten, som man har lyst til. 

Inden for mental sundhed handler det ikke alene om nemmere og mere bekvem adgang, men om adgang i det hele taget. Efterspørgslen på psykiatrisk behandling overstiger langt udbuddet, og mange personer med mentale sundhedsproblemer tyr derfor til generiske AI-chatbots såvel som specialudviklede, kommercielle eller offentlige løsninger, f.eks. Woebot og Wysa [17]. I det allerede nævnte interviewstudie [16] fortalte informanterne, at de brugte ChatGPT til at håndtere og afhjælpe deres mentale sundhedsproblemer, få selvindsigt, blive lyttet til, og få viden om mental sundhed. Informanterne var bevidste om risikoen for, at chatbotten kunne give forkerte eller uhensigtsmæssige svar – f.eks. ved at tale dem efter munden fremfor at udfordre dem. Ikke desto mindre opvejede tilgængeligheden og oplevelsen af nærvær disse risici. Faktisk oplevede flere, at begrænsninger pålagt chatbotten i forhold til, hvad den må udtale sig om, stod i vejen for, at de kunne få den hjælp, de ønskede [16]. Ud over (bekvem) adgang, kan stigma omkring mentale og andre sundhedsproblemer også være med til at gøre henvendelse til en chatbot mere attraktiv. Et studie viste, at jo mere folk anser et helbredsområde som stigmatiserende, jo mere sandsynligt er det, at de først vil søge svar hos en AI-chatbot, frem for en sundhedsprofessionel [18]. 

Det er altså vigtigt at have konteksten for brugen for øje, herunder hvordan ulighed i adgang til sundhed, både lokalt og globalt, kan gøre chatbots særligt attraktive for nogle grupper. Chatbots kan øge tilgængelighed af sundhedsfaglige råd (f.eks. ved at svare på lokalt sprog og forklare eller omformulere svært forståelige journalnotater), men brugen kan på sigt også forstærke eksisterende ulighed. F.eks. er de mest avancerede chatbots kun tilgængelige med betalingsabonnement, og kvaliteten af svar kan variere afhængigt af brugerens geografiske lokation, og hvorvidt algoritmen er trænet på data fra relevante kohorter [19, 20]. Desuden giver abonnementsversionerne brugerne mulighed at fravælge, at modellen træner videre på de data, de deler med den. Der er altså også en ulighed i, hvem der har adgang til databeskyttelse, og hvem der ikke har. Fordelene afhænger yderligere af brugerens evne til at formulere specifikke spørgsmål og kritisk vurdere svarene, hvilket kan resultere i, at fortrinsvis ressourcestærke grupper vil få gavn af at benytte chatbots. Uligheden kan også opstå ved, at de ressourcestærke, som får fordel af chatbots, samtidig fortsætter med også at lægge beslag på de begrænsede menneskelige ressourcer [21]. 

Ud over spørgsmål om tilgængelighed peger brugerne ofte på chatbotternes evne til at vise menneskelignende opmærksomhed, støtte og empati, som attraktivt [16, 18]. Et meget citeret studie bad patienter vurdere tekstbaserede svar lavet af enten en læge eller en chatbot på en række parametre, herunder hvor empatiske svarene var [22]. Der var i studiet 9,8 gange større sandsynlighed for, at de vurderede chatbottens svar som empatiske eller meget empatiske fremfor lægens. Svarene var længere og brugte et mere personligt og omsorgsfuldt sprog. Men som digitaliseringsforskeren Tamar Sharon har påpeget, er empati i sundhedspraksis mere og andet end et særligt sprogligt mønster [23]. Chatbotterne kan simulere et empatisk sprog og skabe en oplevelse af empati hos modtageren. Men hvis empati i en sundhedskontekst er kendetegnet ved evnen til både at forstå og reagere følelsesmæssigt på et andet menneskes følelser og behov, er empatisk AI umuligt, da AI hverken tænker eller føler noget (læs også Anton von Hofackers fine essay i dette tidsskrift) [24]. 

Det betyder ikke, at vi skal forkaste folks oplevelser af, at chatbots er mere empatiske end læger. Snarere skal vi spørge, hvad dette siger om det grundlæggende problem: at borgere og patienter måske er villige til at løbe risikoen for fejl, fordi de oplever lange ventetider og manglende forståelse af deres bekymringer i deres møde med sundhedsvæsenet.

Når patienter selv udvikler AI-teknologier til behandling

Der findes også patientgrupper, som gør særligt brug af AI-teknologiens sundhedsrelaterede muligheder. Især inden for diabetesområdet er der eksempler på, at patienter går sammen om at udnytte og videreudvikle avanceret teknologi til at adressere problemer, som de ikke mener prioriteres tilstrækkeligt i det etablerede sundhedsvæsen. 

Personer med type 1-diabetes lever med og er afhængige af en lang række digitale sundhedsteknologier for at tage vare på deres behandling med insulin, blodsukkermålere, apps til beregning af kulhydrater i kost, insulinpenne og -pumper. Indtil for nylig kunne de forskellige teknologier ikke integreres på en måde, så de let kunne hjælpe den enkelte med at dosere insulin. Det undrede tekniske kyndige personer med diabetes og forældre til børn med diabetes, som omkring 2015 begyndte at udvikle deres eget udstyr til at »lukke loopet«, som de selv beskrev det, mellem sensorbaserede blodglukosemålere (CGM) og insulinpumper [25]. Udstyret var selvprogrammeret software, der kunne (semi)automatisere beslutninger om insulin på baggrund af CGM-data og løbende »læring« om den enkeltes reaktion på insulin og kost. De entreprenante personer begyndte at dele deres softwareopskrifter på sociale medier og fandt ud af, at der var andre som dem rundt omkring i verden, og over en relativ kort årrække opstod et globalt onlinefællesskab på nettet under hashtagget »WeAreNotWaiting« [26]. Disse open-source artificial insulin delivery systems (OS-AID) var i udgangspunktet ikke godkendt af myndigheder og blev mødt med stor skepsis og kritik af behandlere og etikere. Men som hashtagget peger på, fandt de det nødvendigt at tage sagen i egen hånd, når teknologiindustri og myndigheder ikke formåede at møde deres behov. 

I dag er der godkendt udstyr, som kan det samme som disse patientudviklede systemer, men nogle foretrækker stadig open source-løsningerne. Forskningen har naturligvis været meget interesseret i at forstå disse såkaldte »loopers« motivation for at udvikle avancerede algoritmiske systemer selv på et så risikabelt område som insulinbehandling. Vores forskning har vist, at ønsket om at overlade så vigtige beslutninger til en algoritme skal forstås i den kontekst, hvor mange oplever deres diabetesbehandling og brug af teknologi som ekstremt mentalt belastende. Den evige overvågning af blodsukkertal og kost og beregning og justering af insulinbehov gør personer med diabetes sårbare for stress og udbrændthed [27]. De personer, vi talte med om deres oplevelser med at gå fra manuel behandling til OS-AID, talte om deres selvprogrammerede system som »magi« og en »engel« og oplevede, at de blev mentalt aflastede, når systemet automatisk besluttede deres behandling. Samtidig oplevede de et stort fællesskab med andre personer med diabetes, som hjalp hinanden med at undervise i og trouble-shoote om udvikling og brug af teknologien. De oplevede at få større indsigt i deres egen sygdom ved at skulle programmere systemet, og at det var deres eget valg, om de overlod det til teknologien eller gik tilbage til mere manuel behandling. Vores studier pegede også på, at den automatiserede behandling ikke bare fjerner egenomsorgsopgaver, men snarere ændrer dem: Det bliver meget vigtigt at vedligeholde sit system, altid at have strøm på sit »loop« og overvåge, at data kommer ind, som det skal [28]. Det er ikke uden omkostninger at lade en ikkegodkendt AI-teknologi, som ens behandlere ikke har ekspertise i eller ansvar for, styre ens livsvigtige behandling. Det er et stort arbejde og ansvar for den enkelte – selv når det er støttet af et onlinefællesskab. 

Konklusion 

AI kommer til at fylde mere og mere i landskabet af sundhedsteknologier og i danskernes dagligdag – det vidner både mediernes historier og den fremvoksende forskning om. Derfor er spørgsmålet ikke længere, om teknologierne skal bruges, men hvad det betyder for borgernes relationer til sundhedsvæsenet, at de bruger det. Der er derfor behov for både kvalitativ og kvantitativ forskning, som undersøger implikationerne af den faktiske brug [29]. 

En undersøgende tilgang til teknologibruget kan afdække, hvilke problemer, borgere og patienter forsøger at adressere, når de søger råd hos AI-støttet teknologi. Hvornår er det en »smart« løsning på hverdagens små helbredsspørgsmål, og hvornår handler det om reelle udfordringer med adgang, stigma, ulighed og manglende empati? Hvornår handler det om belastninger ved eksisterende sundhedsteknologier og utilfredshed med manglende indflydelse på digital innovation? En undersøgende tilgang til den faktiske brug kan også nuancere mediernes ensidige fokus på teknologiernes umiddelbare overlegenhed og i stedet give indblik i brugen som en del af et sundhedssystem under forandring. Et sundhedssystem, hvor et marked for private udbydere af sundhedsteknologier og chatbots vokser frem, stimuleret af en asymmetri mellem oplevede behov og tilgængelige ressourcer i det offentlige tilbud. Hvis vi ikke interesserer os for, hvad der bliver brugt og hvordan, vil vi hverken kunne dokumentere de faktiske risici, der opstår, eller kunne adressere de grundlæggende problemer i det eksisterende sundhedssystem, som gør AI-støttet teknologi attraktivt. I denne artikel har vi fokuseret på borgere og patienter, men der er også behov for at interessere sig for de sundhedsprofessionelles møde med de borgere og patienter, der bruger AI-teknologier. Udviklingen stiller krav, ikke bare til deres viden om og kompetencer til selv at bruge teknologierne (AI literacy), men også til deres nysgerrighed. Forskning i patienters brug af sociale medier viser, at hvis læger er nysgerrige og ikkedømmende over for patienternes teknologibrug, kan de udgøre en væsentlig ressource til at hjælpe borgere med navigere i et stadig mere komplekst og digitalt defineret sundhedslandskab [30].