Disruption af fattiges retssikkerhed – computerprogrammer skal lede efter ‘sociale bedragere’

Horsens har sat gang i udviklingen af et computerprogram der skal hjælpe kommunen med at finde sociale bedragere. Systemet skal bl.a. bruges til at samle op på anmeldelser, og komme med ”beslutningsstøtte” til de ansattes vurdering af hvilke borgere der statistisk set er skyldige. Det er indbygget i programmet, at det prioriterer at lede efter snyd eller problemer hos de fattigste, ikke i toppen af samfundet.

Af Franz Krejbjerg


I 2018 fik Kommunernes Landsforening udgivet en rapport om fremtidens brug af kunstig intelligens-systemer – de såkaldte algoritme baserede computerprogrammer – der af nogle aktører i branchen forudses at kunne overtage en meget stor del af kontorarbejdet i løbet af de kommende årtier.

Analysen var udarbejdet af konsulentbureauet Daredisrupt, der er tæt knyttet til den amerikanske virksomhed Singularity University. Hvis stifter Ray Kurzweil, bl.a. er kendt for at forestille sig at computere snart vil overgå mennesket, og i praksis blive en slags overmennesker.

Virksomheden Singularity University’s filosofi bliver med rette kritiseret for at have en religiøs tilgang til kunstig intelligens, og i stedet for videnskabelige metoder, ønsker de at få politikere og erhvervsledere til at tro på mirakler.

Ikke mærkeligt at det er lykkedes at sælge deres budskab til Digitaliseringsstyrelsen og til Kommunernes Landsforening, der i forvejen drømmer om en fremtid uden varme hænder i den offentlige sektor.

Et af de punkter som Daredisrupt beskrev i rapporten, var at man ved hjælp af samkøring af data og angivelse af en række parametre kunne forudsige problemer i hjemmet.

I rapporten skriver de: ”Hvad nu hvis kommunen kan forudse destruktiv adfærd hos den enkelte borger – gennem analyser af data fra infrastrukturen i kommunen – før borgeren selv kan, eller i hvert fald før handlingen udføres (eget misbrug, misbrug af andre eller vold … )?”

I bedste fald er den type programmer penge ud af vinduet, i værste fald – som det er blevet dokumenteret i flere tilfælde i USA – så bliver den slags ”beslutningsstøtte programmer” bestemmende for hvordan f.eks. myndigheder og socialrådgivere arbejder. Og det er et kæmpe problem for retssikkerheden, fordi i praksis er langt de fleste data som systemet er bygget ud fra ikke objektive.

Alle de fordomme der findes i klassesamfundet går således igen. Moralske fordomme mod religiøse mindretal, indvandrere, psykisk syge og fattige, betyder at skævhed i sagerne, og den forudindtagethed går igen som en overrepræsentation i statistikkerne. Mens folk fra de højere lag i samfundet har en underrepræsentation.

Og med skæve data som udgangspunkt, vil en computer blot fortsætte det spor der er lagt, og tro at mennesker der bor i de udsatte boligområder er mere kriminelle end i resten af byens kvarterer.

Horsensjagten på sociale bedragere

I Horsens kommune har man udtaget spørgsmålet om sociale bedragere til et pilotprojekt, der skal vise om den type systemer kan bruges i praksis. De kunne i stedet have udvalgt sager om korrupte embedsfolk, myndighedernes magtmisbrug, eller forurening fra landbruget eller de mange penge der er smidt ud af vinduet til IT konsulenter som Daredisrupt.

Men jagten går på de i forvejen fattigste.

”Tanken i projektet er, at vi vil guide vores sagsbehandlere i prioriteringen af opgaverne. Når de får en ny opgave – når algoritmen er i mål – så går den ind og giver en form for indikator på, at dette er en ny sag, som sandsynligvis er en socialbedrager. Den sag bør sagsbehandleren bruge mere tid på end andre opgaver, hun lige har fået ind.”

Forklarer Mads Lund Torslev, som er programleder for Udvikling, It- og Digitaliseringsafdelingen i Horsens Kommune, til netavisen Version2.dk.

”Det aktuelle projekt er et ‘proof-of-concept’ – et pilot-projekt – for at finde ud af, om denne teknologi giver mening så tæt på sagsbehandlingen. Jeg har kørt et machine learning-projekt tidligere, som vi har lært en hel del af. Vi har skåret en masse af startomkostningerne væk.”

”Vi tilgår machine learning som normal statistik-håndtering. Man skal være lidt påpasselig med at råbe: ‘Ulven kommer’ i denne sammenhæng. Vi foretager kun en vurdering, når der er en henvendelse. Det ville være noget andet, hvis vi kørte alle kommunens borgere igennem algoritmen…” Forklarer Mads Lund Torslev, til Version2.

Spareforestillinger holder ikke

Klavs Birkholm fra tænketanken TeknoEtik, og medforfatter på bogen De skjulte algoritmer, advarer på det kraftigste imod den type systemer som Horsens Kommune vil lave forsøg med. Forskningen viser at ”beslutningsstøtte” ofte blive udgangspunkt for prioritering af ressourcer, og ingen ansatte tager selvstændigt stilling af angst for at få ørerne i maskinen.

Og det dur ikke, og ofte så skæres der jo ned på personalet efter Digitaliseringsstyrelsens anbefaling, endnu inden at nogen påviselig effekt har vist sig. De store tabere de i forvejen svageste og fattigste mennesker i samfundet. Mens de hyrede computervirksomheder gnider sig i hænderne hele vejen ned til banken.

Se også blogindlæg af Franz Krejbjerg
Debat om kunstig intelligens blander begreberne sammen

Links

Sådan kommer Horsens’ bedrageri-algoritme til at se ud

Tænketanken TeknoEtik

Teknologi rapport fra KL

De skjulte algoritmer


Dette er en artikel fra KPnet.
Se flere artikler og følg med på

KPNET.DK – NYHEDER HVOR DER KÆMPES
– eller på FACEBOOK
Udgives af APK – Arbejderpartiet Kommunisterne