Svarta lådan och rätten till information
När personuppgifter behandlas i ett AI-system så kan det vara svårt att förstå och förklara hur systemet leder fram till ett visst resultat. Det gäller särskilt när systemet bygger på komplexa AI-modeller som används för att analysera, klassificera, prioritera, rekommendera, sammanfatta eller på annat sätt generera text som innehåller personuppgifter.
AI-system kan vara svåra att förklara
Ett AI-system kan i sådana fall fungera som en så kallad svart låda. Den personuppgiftsansvarige kan känna till vilka uppgifter som tillförs systemet och vilket resultat som systemet lämnar, men ändå ha svårt att förklara varför systemet har givit ett visst resultat. Svårigheten kan bero på modellens tekniska egenskaper, men också på hur modellen används i ett större system tillsammans med instruktioner, promptar, kompletterande datakällor, filtrering, eller mänsklig granskning.
Kontexten påverkar hanteringen
Utmaningen att beskriva behandlingen på ett tillräckligt sätt ser olika ut beroende på i vilken kontext som personuppgifterna behandlas. Vid träning av en AI-modell för allmänna ändamål är utmaningen ofta kopplad till insamlingen av träningsdata, till exempel vilka uppgifter som har samlats in, från vilka källor och hur de registrerade kan informeras. Vid finjustering, anpassning eller användning av ett AI-system blir kopplingen till den personuppgiftsansvarigas egen behandling ofta mer direkt. Då kan personuppgifter behandlas genom de uppgifter som tillförs systemet, genom de uppgifter som används för att anpassa systemet och genom det innehåll som systemet genererar.
Kravet på transparens
ExempelEn organisation använder ett AI-system för att sammanfatta inkommande handlingar. Systemet bygger på en AI-modell för allmänna ändamål som har utvecklats av ett större företag. Organisationen har inte insyn i vilka uppgifter som användes vid träningen av modellen eller hur modellen tekniskt leder fram till ett visst resultat.
När organisationen använder AI-systemet i sin egen verksamhet kan personuppgifter behandlas, till exempel när handlingar som innehåller personuppgifter matas in i ett system eller när systemet genererar sammanfattningar som innehåller personuppgifter. Organisationen behöver då kunna informera de registrerade om den behandling som sker i den egna verksamheten. Det kan bland annat handla om vilka uppgifter som används, varför de används, vilken roll AI-systemet har och vilka konsekvenser som behandlingen kan få för de registrerade.
Checklista informationsskyldighet
Checklista
Hur kan vi göra för att leva upp till informationsskyldigheten?
-
1
Undvik automatiserade beslut
-
2
Beakta de registrerades rättigheter både vid utveckling och användning
-
3
Vidta tekniska och organisatoriska åtgärder
-
4
Följ utvecklingen av AI-modellen noggrant för att förstå hur resultaten produceras
-
5
Testa och dokumentera hur indata och de registrerade kan påverka resultatet
-
6
Dokumentera era slutsatser
Förklarbar AI
Förklarbar AI är ett forskningsområde som handlar om att göra de beslut eller åtgärder som fattas av ett AI-system begripliga för människor som använder eller utvecklar systemet. Intresset för förklarande AI verkar vara på uppgång, och en del länder går mot att kräva förklarbarhet av AI-system.
Förklarbar AI
Förklarbar AI är ett forskningsområde som handlar om att göra de beslut eller åtgärder som fattas av ett AI-system begripliga för människor som använder eller utvecklar systemet. Intresset för förklarande AI verkar vara på uppgång, och en del länder går mot att kräva förklarbarhet av AI-system.