(TF)² #8 – EU sätter varsamt ned foten kring AI

EU-kommissionen orsakade stort rabalder på nätets nördigare delar, när de för en månad sedan släppte ett 100-sidigt dokument med nya lagförslag kring hur AI ska regleras inom EU. Om det röstas igenom så kommer EU vara först i världen med denna typ av lagar.

Hur definierar de AI?

Det är viktigt att börja med att notera att den stora majoriteten av AI-tillämpningar kommer vara opåverkade. Man har valt att göra en mycket bred definition av AI, som även uttryckligen inkluderar bayes sats och annan statistik och t.ex expertsystem. I stället för teknisk begränsning är lagarna begränsade till några speciellt känsliga tillämpningsområden.

Valet att kalla statistik för AI ledde till den vanliga nätpaniken kring att “nu ska EU reglera matematik” och liknande, men vår uppfattning är att den breda definitionen är korrekt och att det inte går att dra några finare gränser. Antingen anpassar du delar av din modell automatiskt till data eller så gör du inte det. Om modellen byggs på matrismultiplikationer eller annan matematik är oväsentligt.

Att man valt att ha med även expertsystem är förståeligt eftersom det normalt räknas som ett område inom AI, men här är det mycket svårare att dra gränser. Expertsystem är normalt inte automatanpassade till data eller självlärande, vilket gör att det i princip kan handla om affärslogik, gränsvärden och if-satser. Det betyder att vad EU egentligen reglerar är all digital automatisering, snarare än bara AI. Detta hade varit en mer sanningsenlig titel på lagförslaget, men hade måhända genererat färre nyhetsartiklar..

Reglerade områden

EU delar in sina regler i 4½ områden.

Oacceptabel risk, är AI-system som anses utgöra ett hot mot människors säkerhet, försörjningsmöjligheter och rättigheter. Detta förbjuds totalt. Detta inbegriper AI-system eller tillämpningar som manipulerar mänskligt beteende för att kringgå användarnas fria vilja.
Exempel: Leksaker som uppmuntrar minderåriga till farliga beteenden och system som stater kan använda för ”social poängsättning”.

Denna del verkar mest vara inkluderad som en politisk känga till Kinas sociala kreditsystem.

AI-system för biometrisk fjärridentifiering anses utgöra en särskilt hög risk och omfattas därför av strikta krav. Det ligger därför någonstans mellan oacceptabel och hög risk. Användningen av sådana på offentligt tillgängliga platser för brottsbekämpande ändamål är i princip förbjuden. Läser man djupare i texten så visar det sig dock att det bara handlar om identifiering i realtid, vilket torde göra det hela en smula tandlöst.

Hög risk. AI-system som anses utgöra hög risk är exempelvis AI-system som används i:

• Kritisk infrastruktur, där problem kan innebära hot mot människors liv och hälsa.

• Utbildning (t.ex. poängsättning av prov).

• Säkerhetskomponenter i produkter (t.ex. robotstöd vid operationer).

• Anställning, arbetsledning och tillgång till egenföretagande (t.ex. mjukvara för sortering av cv:n i samband med rekrytering).

• Väsentliga privata och offentliga tjänster (t.ex. kreditbedömning).

• Brottsbekämpning (t.ex. bedömning av tillförlitligheten i bevis).

• Hantering av migration, asyl och gränskontroll (t.ex. kontroll av äktheten i resehandlingar).

• Rättskipning och demokratiska processer (t.ex. tillämpning av lagstiftning på ett konkret faktaunderlag).

AI-system med hög risk kommer att omfattas av strikta skyldigheter innan de släpps ut på marknaden. En lustig effekt av detta hade varit om företag som verkar inom dessa områden plötsligt började kraftigt hävda att deras system inte är AI, snarare än rådande praxis bland produktbolag, som snarare är att marknadsföra att de har “AI” i allt.

Hög risk-system behöver bl.a ha detaljerad dokumentation, tränas med data av hög kvalitet, logga förändringar, ha spårbarhet och förklarbarhet, etc. EU kommer ha en publikt tillgänglig databas med metadata kring alla AI-system som bedöms som högrisk.

Data av hög kvalitet betyder att den ska vara “representativ, fullständig och felfri”. Vad det i sin tur betyder och om sådan data ens existerar är oklart.

Begränsad risk innefattar AI-system med särskilda transparenskrav. Det handlar om system som interagerar med människor och genererar innehåll eller försöker bedöma känslomässigt tillstånd hos användaren. Till exempel så måste man bli informerad om man pratar med en chattbot. Även material producerat med andra generativa algoritmer måste informera om detta. Det betyder alltså att media (ljud/bild/video) som blivit manipulerad med “deep fake”-algoritmer kommer behöva markera att det har gjorts. Detta kommer förmodligen sätta press på social media att deras användare måste ange när de laddar upp deep fakes.

Låg risk inkluderar alla andra användningsområden. Dessa regleras inte alls i de föreslagna AI-förordningarna.

Vad händer härnäst?

Straffen för att bryta mot ovanstånde är, precis som för GDPR-lagarna, kännbara. Böter kan nå upp till det som är störst av €30 miljoner eller 6% av företagets/organisationens globala omsättning. Europaparlamentet och medlemsländerna kommer dock att behöva anta EU-kommissionens förslag, innan det blir på riktigt.

På Tenfifty anser vi att det är bra att det finns en diskussion kring problem och utmaningar med olika sorters “big data” och storskalig automatisering. Om EU på allvar vill ligga i framkant kring att säkra att AI används för medborgarnas bästa, så borde dock en seriös diskussion föras och forskningsmedel tillföras till det underfinansierade och under-respekterade område som kallas “vänlig AI“.

Om man med AI inkluderar planerande och agerande system som försöker uppnå ett visst mål och vi utgår från att sådana system på sikt kommer bli allt bättre på att uppnå dessa mål, så kommer de naturligt resonera sig fram till vissa sekundära mål. T.ex är det för alla primära mål enklare att uppnå dem om du ökar dina tillgängliga resurser och din makt, förbättrar dina egna generella förmågor och har en självbevarelsedrift. Sådana implicita sekundära mål kan på sikt bli farliga och svårkontrollerade.

Men detta skriver vi nog mer om någon annan gång!