AI tvingar det demokratiska samhället att tänka nytt

– DET ÄR INTE LÄNGRE BARA svenska tjänstemän som utövar myndighetsmakten, i dag är det också algoritmer. Det är utmanande för demokratin eftersom det försvårar ett ansvarsutkrävande, säger Marie Eneman, forskare i informatik.

Sveriges styre vilar på en organisation med självständiga myndigheter som verkställer riksdagens beslut. Korruptionen är låg och svenskarnas förmåga att lita på varandra och på myndigheter bidrar till ett samhälle präglat av stabilitet och välstånd.

– Det kallas för det Nordiska guldet, men den pågående tekniska utvecklingen kan utmana medborgarnas tillit till staten. Med AI:s intåg försvåras insynen och det går det inte längre att följa alla steg på vägen till ett myndighetsbeslut, eftersom vi låter AI avgöra vissa saker åt oss med hjälp av svårbegripliga algoritmer, säger Marie Eneman som i sin forskning länge intresserat sig för de juridiska aspekterna när AI och maskininlärning används i myndighetsutövning.

I FORSKNINGEN KALLAS den bristande transparensen runt AI-system för en svart låda. När AI används i särskilt känsliga verksamheter som polis, socialtjänst eller försvaret blir det dubbla svarta lådor. Det gör det ännu svårare att förstå och överklaga ett myndighetsbeslut.

Flera myndigheter har på kort tid blivit beroende av AI-teknik som levereras av privata företag. Staten försöker upprätthålla säkerhet och demokratisk autonomi samtidigt som de teknologiska beroendena fördjupas.

– Svensk polis använde en AI-teknik för ansiktsigenkänning som varken var upphandlad eller sanktionerad av polisledningen. Det var en gratisversion från ett amerikanskt företag som samlar in miljarder med ansiktsbilder från det öppna internet. Bilderna bildar en databas som kan användas för att identifiera brottslingar och offer, säger Marie Eneman.

Efter en tillsyn förbjöds Polisen att fortsätta använda programvaran och det amerikanska bolaget fick lova att radera den insamlade datan från den svenska polisen.

– Men kan vi lita på att företaget gjorde det? Hur ska vi kunna ha insyn när det är stora privata aktörer utanför EU som samlar in data om medborgarna? Det vore orimligt om vi inte lät polisen utveckla nya metoder i sin brottsbekämpning. Därför måste vi hitta en väg där myndigheter kan använda sig av algoritmer som både är effektiva och rättssäkra, säger Marie Eneman.

ÖVERVAKNING BÖR I DAG inte förstås som isolerade teknologier, utan som sammanlänkade infrastrukturer där olika datakällor, system och rättsliga mandat samverkar. Det innebär att kameraövervakning, kroppsburna kameror, hemlig dataavläsning, biometriska system och andra informationsflöden i ökande grad kopplas samman och analyseras gemensamt.

– Riskerna ligger sällan i en enskild teknik i sig. De uppstår när olika övervakningsformer fogas samman i större infrastrukturer där data delas, kombineras och görs handlingsbara. Då förändras också villkoren för misstanke, ansvar och demokratisk kontroll.

I juli införs en ny lagstiftning som tillåter polisen att använda ansiktsigenkänning i realtid. Då kan presumtiva gärningsmän identifieras redan innan brottet har skett. Frågan blir vad som händer när misstanke inte längre grundas i konkreta handlingar, utan i sannolikheter. När övervakning inte längre bara ser, utan förutser.

– Detta väcker en angelägen fråga: När övervakning i allt högre grad handlar om att identifiera möjliga beteenden – vem avgör vad som räknas som risk, hur denna risk beräknas, och vem som därmed blir föremål för misstanke?

Marie Eneman menar att vi behöver tänka om och tänka nytt kring hur effektiv och meningsfull reglering och tillsyn av myndigheters användning av AI ska se ut.

– Lagförslagen utvecklas i en rasande takt och då blir bra tillsyn jätteviktig. Bara för att samhället står inför ett problem så bör vi inte inrätta permanent övervakning. Därför menar jag att lagar om övervakning ska omprövas efter en tid för att få fortsätta gälla. Vi vet inte vilka som styr vårt land om tio år och hur de vill använda övervakningsinstrumentet, säger Marie Eneman.

ETT ANNAT VÄXANDE HOT mot tilliten i samhället är AI-genererad falsk information i ljud, text och bild, det som kallas för deepfake. Från att ha varit en kuriositet är det nu spritt och förekommer i det vardagliga flödet i sociala medier. Mycket är skapat som underhållning, men deepfake används allt oftare i olika former av nätbedrägerier och desinformationskampanjer.

Barn och unga vuxna är särskilt utsatta. Många av dem konsumerar stora mängder korta filmklipp på plattformar som TikTok, där deepfake förekommer i innehållet hela tiden. Det snabba skrollandet som dessa plattformar bjuder in till ger inte mycket utrymme för eftertanke eller kritiskt tänkande. Användarna uppmuntras att hela tiden gå vidare till nästa klipp utan att fundera över äktheten eller källan till det som visas.

– Det är ett allvarligt problem. Det logiska och kritiska tänkandet är inte fullt utvecklat i hjärnan hos unga personer. Den yngre publiken är därför mer sårbara för missledande och känsloladdat innehåll. De reagerar mer utifrån känslor och intuition, säger sociala medier-forskaren Chiao-I Tseng, som ställer sig positiv till en åldersgräns på sociala medier.

Bild

Chiao-I Tseng studerar hur nyhetsinnehåll förändras när det hamnar på sociala medie-plattformar och hur unga grupper kan nås den vägen. Hon har sett hur deepfake har blivit ett effektivt verktyg för populistiska massmedier. I till exempel Tyskland, har högerextrema grupper använt deepfake för att förstärka sitt budskap på nätet. Genom att kombinera ett känslosamt tilltal med ett visuellt berättande i högt tempo så når de fram till unga tittare.

DONALD TRUMPS AGGRESSIVA retorik på sociala medier förstärks ofta genom spridandet av manipulerade eller missledande bilder vilket illustrerar hur politisk kommunikation suddar ut gränsen mellan fiktion och verklighet. Chiao-I Tseng tror att få ledande politiker i Västeuropa kommer härma efter Trump för att nå en yngre publik. I stället är trenden att distansera sig från den stil och ton som Amerikas president gjort till sin.

– Just nu ökar deepfake kraftigt, det är en farlig fas. Samtidigt blir folk mer försiktiga och skeptiska till det som sägs och visas och då kommer deepfake-användandet att plana ut. Så här ser det ofta ut när ny teknik utvecklas.

Ett bra exempel är när rörlig film slog igenom för drygt 100 år sedan. Många oroade sig för att filmen skulle bli ett kraftfullt propagandaverktyg, vilket också skedde. Men över tid lärde sig samhället att hantera, och navigera kring, filmens genomslagskraft.

– EU håller på att utforma en lagstiftning som sätter upp tydliga gränser för hur AI och deepfake får användas. Det gör det möjligt att ställa de som missbrukar teknologin till svars. Det är en viktig gränssättning och basen i genomförandet är att myndigheter håller fast vid att inte använda AI till deepfake, oavsett nyttan, säger Chiao-I Tseng och tillägger:

– Varje teknologi har en baksida, men AI är också det kraftfullaste verktyget vi har för att upptäcka deepfake.

Text: Olof Lönnehed