Datasystem som fattar automatiska beslut har blivit allt vanligare, och används till exempel när det gäller beskattning och uppehållstillstånd. Alla algoritmer fungerar ändå inte så väl som de borde och öppenheten kan vara minimal.
Skatteförvaltningen har prövat automatisk beskattning och Migrationsverket har använt algoritmer när det gäller att ge uppehållstillstånd. Det här kan göra processerna snabbare och billigare.
I nuläget är det ändå oklart i vilka alla situationer man får använda automatiskt beslutsfattande och hur. Lagen har inte hunnit med i den tekniska utvecklingen.
Men Justitieministeriet och Finansministeriet håller som bäst på att titta närmare på saken efter ett initiativ av grundlagsutskottet.
Ministerierna kommer också att fundera på hur man kan stärka öppenheten.
Julia Velkova som är postdoktor vid Helsingfors universitet betonar att mer transparens behövs när det gäller algoritmer för att säkerställa att det fattas rätt beslut.
– Absolut. Både i privat sektor och i offentlig förvaltning så är det väldigt svårt att förstå hur algoritmer fattar sina beslut, säger hon.
Automatisk beskattning
Skatteförvaltningen har haft problem med att kunna redovisa hur myndighetens automatiska beskattningsbeslut egentligen har fattats.
När någon har begärt omprövning av ett automatiskt beskattningsbeslut har det kunnat vara svårt för anställda vid myndigheten att förstå hur algoritmen har kommit fram till sina slutsatser. Den biträdande justitieombudsmannen granskar som bäst saken.
– Det krävs lagstiftning som faktiskt kan kräva att de som utvecklar den automatiserade beslutsfattandekedjan ser till att det finns något sätt att spåra tillbaka hur beslut har fattats, säger Velkova på Helsingfors universitet.
Samtidigt är det så att EU:s dataskyddsförordning redan nu betonar att det är viktigt med transparens när det gäller algoritmer. De som berörs av algoritmers beslut ska få veta på ett förståeligt sätt hur beslutet har fattats.
Men det verkar enligt forskare inte alltid fungera i praktiken.
Det kan ofta vara svårt för en människa att överblicka hur ett system har resonerat eftersom det till exempel kan dra slutsatser på stora mängder data från många olika källor.
I vissa fall är det till och med tekniskt omöjligt att veta exakt hur processen har gått till.
– Algoritmerna är inte gjorda för att bli transparenta för människor, men lagstiftningen kräver det.
Ett par konkreta exempel
Personer kan identifieras när data kombineras
Ett ytterligare exempel är Esbo stad som har prövat att använda en algoritm för att hitta barn som kunde behöva få extra hjälp av socialtjänsten.
– Då pekade algoritmen på 280 faktorer att kolla och vi vet inte hur den kom på just de här faktorerna.
Anna-Mari Rusanen som är specialsakkunnig vid Finansministeriet kommenterar att det är viktigt att värna om folks integritet i hur man använder algoritmer.
– Esbo-fallet aktualiserar att det är viktigt att tänka på hur det i framtiden ska vara tillåtet att profilera folk. Lagstiftningen borde bli tydligare på den här punkten, säger hon.
Rusanen säger att det i vissa fall kan vara okej att kombinera data för att dra nya insikter, även då det kan identifiera enskilda individer, och i andra fall är det inte det.
Hon betonar att särskilt genetisk information har stor potential till att kunna missbrukas – redan nu, men särskilt i framtiden. Via genetisk kod kan man till exempel få reda på hur någons ansikte troligen ser ut.
Välfärdsbeslut kan avgöras av stora datamaterial
Velkova säger för sin del att nordiska länder med välfärdsstaten som bas har varit exceptionella i att bygga byråkratier baserade på mycket information om sina medborgare.
Hon efterlyser en öppen diskussion om att de här olika registren nu kan samköras, till exempel när myndigheter fattar beslut om välfärd.
– Tekniken möjliggör alltså helt nya sätt att spåra och förutsäga beteenden och attityder baserade på stora datamängder som samlas in och samköras mellan olika sektorer, påpekar hon.
Staten funderar också på att utöka övervakningen av automatiskt beslutsfattande för att säkerställa att allt går rätt till. Velkova på Helsingfors universitet tycker att det är en bra idé.
– På en allmän nivå så måste det byggas ut mekanismer som tillåter en tillsyn över algoritmer, att det ska implementeras. Om man tänker att de blir en slags medarbetare till människor.
– Algoritmer tillåts fatta beslut på samma sätt som människor gör, och liksom människor kan göra fel så kan också algoritmer göra det, och de borde därför granskas. Det borde vara helt naturligt, fortsätter hon.
Om vissa algoritmer till och med borde bli offentliga, så att journalister kunde syna dem med hänvisning till offentlighetslagen, är något som Justitieministeriet också kommer att ta ställning i sin pågående utredning av automatiskt beslutsfattande.
Behövs det algoritmer överallt?
Forskaren Julia Velkova säger att vi i samhället utgår från att vi måste automatisera mer för att bli mer effektiva men att man ofta inte ställer sig frågan om det faktiskt är ändamålsenligt i alla fall.
Till exempel kan det vara svårt att ta ställning till särskilda omständigheter då ett beslut fattas automatiskt.
Hon säger att det kanske finns områden som det är bättre att bara lämna som de är, och som skulle fungera sämre om de blev automatiserade.
– Vi borde inte vara så helt blinda och teknikoptimistiska att vi anammar teknik bara för att den finns, utan vi måste fråga vad är det den gör för oss.