Vem får står till svars när AI gör fel?

Kunskapsläget kring AI i vården är fortfarande under utveckling. Tekniken väcker både stora förhoppningar och viktiga frågor, inte minst etiska, som handlar om roller, ansvar, integritet och transparens.

Text: Ann-Cathrine Johnsson

Det menar Ingrid Larsson, sjuksköterska och professor i hälsa och livsstil, och Petra Svedberg, sjuksköterska och professor i omvårdnad. Båda forskningsledare vid Forskningsprogrammet Informationsdriven vård och Healthcare Improvement Research Group, vid Högskolan i Halmstad.

I sin forskargrupp har de särskilt intresserat sig för hur AI fungerar i praktiken, hur den implementeras, vilka etiska frågor som uppstår, hur patientsäkerheten påverkas och på vilket sätt tekniken förändrar vårdpersonalens arbetsmiljö och roller.

– För att förstå AI:s praktiska betydelse i vården behöver vi mer forskning som följer användningen i det kliniska arbetet, där de etiska frågorna blir konkreta och får praktiska konsekvenser, säger Ingrid Larsson.

Utifrån forskningsresultaten de fått fram framträder några återkommande teman som tydligt berör etik. Framför allt handlar det om transparens, ansvar, kritiskt förhållningssätt, samt frågor kring integritet och säkerhet.

– Transparens handlar om att både vårdpersonal och patienter behöver förstå hur systemen fungerar, det vill säga hur de har tränats, vilka data de bygger på och varför de ger vissa rekommendationer. Det låter enkelt, men i praktiken är det ofta svårt. Många AI-system fungerar som så kallade "svarta lådor", där det är oklart hur algoritmen kommit fram till sitt resultat. När tekniken blir för komplex för att förstå, kan det skapa en osäkerhet hos personalen, fortsätter Ingrid Larsson.

Ansvar handlar om vem som bär det yttersta ansvaret när AI används i vården.

– I vår forskning berättar personalen att de känner en viss osäkerhet kring vad som händer om ett AI-system ger en rekommendation som visar sig vara fel – vem det då är som står till svars, säger Petra Svedberg.

Många uttrycker en oro för övertro på AI:s bedömningar, berättar hon.

– Det finns en risk att ett förslag från ett AI verktyg uppfattas som korrekt, trots att det kanske inte representerar den aktuella patientgruppen och missar nyanser som en människa skulle uppfatta genom sin kliniska erfarenhet. Det kräver en reflekterande hållning, där teknikens rekommendationer ifrågasätts, tolkas och kombineras med professionell kunskap och erfarenhet.

Integritet och sekretess är också en fråga som både personal och patienter lyfter som viktig. För att AI ska fungera behöver systemen tillgång till stora mängder patientdata och detta väcker frågor om hur dessa uppgifter lagras, delas och skyddas. Det handlar också om i vilken utsträckning patienter förstår och har möjlighet att ge informerat samtycke om hur deras data används.

Maja Fjaestad är professor vid Luleå tekniska universitet. Hon var tidigare statssekreterare och har varit verksam vid EU-kommissionens AI-byrå i Bryssel.

Hon menar att det finns mycket spännande AI inom omvårdnad, men att det centrala är att personalen ska använda AI och inte tvärtom – att AI använder professionerna.

– Det innebär att man måste satsa på utbildning som gör att sjuksköterskor känner att de har makten och inflytandet över tekniken. AI har stora möjligheter inom medicin och omvårdnad, för bättre och säkrare processande av data, säger hon.

Det viktigaste, tror hon, är att inte utgå ifrån att AI automatiskt leder till bättre patientsäkerhet och bättre omvårdnad, utan att det är vårdpersonalen som måste se till att använda AI så.

– Man bör heller inte gå i fällan och tro att man ”måste” introducera AI. Tvärtom ska vi göra aktiva val om när och hur vi vill använda AI.

Vilka är de största utmaningarna?

– Jag tror att det viktigaste är att värna professionernas kunskap. En annan utmaning – eller låt oss kalla det ett problem – är att AI är byggd på data som innehåller fördomar och snedvridningar, och därför kan komma till orättvisa eller missvisande resultat. Därför tror jag också att algoritmer i välfärden i så hög utsträckning som möjligt måste vara öppna och transparenta. Jag utvecklar detta i boken ”AI och makten över besluten” som kom ut förra året, säger Maja Fjaestad.

Hur ser behovet av riktlinjer och ramverk ut?

Ingrid Larsson och Petra Svedberg pekar på att Världshälsoorganisationen, WHO, har tagit fram principer för en ansvarsfull användning av AI, som ligger nära vårdens egna principer, som de menar lyfter fram tillförlitlighet, transparens, integritet, rättvisa och ansvar.

– Det som är särskilt intressant är att WHO tydligt betonar just ansvar, något som inte är lika uttalat i vårdens etiska principer. I takt med att AI blir en del av vardagen i vården behöver vi därför prata mer om ansvar, både i hur tekniken utvecklas, upphandlas och används i det kliniska arbetet. Det handlar om att skapa klarhet och trygghet, så att både personal och patienter kan känna tillit till hur tekniken används, menar Petra Svedberg.

Samtidigt behövs det mer forskning för att utveckla ramverk och riktlinjer som ger professionen stöd i hur AI kan användas i praktiken, menar de båda forskarna.

– Mycket av det som finns idag beskriver framför allt vilka etiska principer vi bör förhålla oss till, men ger mindre vägledning i hur det ska omsättas i det dagliga arbetet. För att förändra detta är det värdefullt att engagera sjuksköterskor och andra professioner i utvecklingen av riktlinjer som fungerar i vårdens verklighet och som bidrar till att AI används på ett ansvarsfullt sätt som stärker kvaliteten i vården.