Kunstig intelligens spiller en stadig større rolle i samfunnet og arbeidslivet. Likevel er debatt om diskriminerende algoritmer og regulering av kunstig intelligens nærmest fraværende i Norge. I EU er reguleringsarbeidet i gang. På bordet ligger blant annet forslag til Artificial Intelligence Act, og 9. desember ble forslag til direktiv om arbeidsforhold for digitale plattformarbeidere lansert. Direktivet har et eget kapittel om algoritmisk ledelse.

I oktober publiserte EU-kommisjonen en rapport om diskriminerende algoritmer. Både Norge og EU har lovgivning som beskytter mot diskriminering, men er det nok i møte med avansert teknologi?

Arbeidslivet

En finsk undersøkelse fra 2017, anslo at en form for algoritmer var brukt i 40 000 rekrutteringer i året (Nurmilaakso, T (2017)). Det er ikke grunn til å tro at trenden er en annen i Norge.

I arbeidslivet er bruk av algoritmer i vurdering av CV’er velkjent. Det er flere eksempler på uheldige utslag av dette – et av de mer kjente er fra Amazon hvor algoritmen foretrakk CV’er fra menn fordi de som var ansatt på den aktuelle avdelingen fra før var menn, og algoritmen var lært opp med bakgrunn i profiler fra eksisterende ansatte.

Algoritmer brukes også ved stillingsutlysning på nett, og styrer hvem som får direkte informasjon om den ledige stillingen. Dette kan få ekstreme utslag, noe en studie av stillingsannonser distribuert av Facebook illustrerte. Her nådde 85 % av annonsene for butikkmedarbeidere på supermarked kvinner, 75% av annonsene for stilling som taxisjåfør et «black audience», mens annonser for tømrere et publikum som besto av 90 % menn og 72 % “white” (Ali, M and others (2019)). Dette skjedde på tross av at algoritmen skulle være nøytral. Eksemplet viser en klassisk situasjon hvor kvinner, menn og personer av ulik etnisk opprinnelse behandles ulikt.  

Forutsatt at de som var utsatt for forskjellsbehandlingen ble gjort oppmerksom på det, kunne saker som denne vært prøvd på bakgrunn av forbudet mot diskriminering i arbeidsforhold. I realiteten ville forholdet mest sannsynlig ikke blitt oppdaget.

Ny rapport

EU-kommisjonens rapport om algoritmer og diskriminering peker på flere utfordringer (og muligheter) med bruk av algoritmer. En konklusjon er at EU-regelverket om diskriminering (inntatt i norsk lov) løser en del spørsmål, men ikke alle. Norsk lov gir noe bedre vern, men heller ikke dette er tilpasset den nye teknologiske virkeligheten.

I dag er diskriminering på bestemte grunnlag som kjønn, alder, religion, seksuell legning og etnisitet forbudt. Utviklere av algoritmer vil trolig forsøke å unngå at avgjørelser tas på bakgrunn av de etablerte diskrimineringsgrunnlagene. Likevel kan algoritmene diskriminere indirekte. Det kan være gjennom regler som behandler alle likt uten å ta høyde for enkelte gruppers spesielle behov, eller praksis som rammer noen grupper hardere enn andre. Om algoritmen vektlegger en faktor som postnummer hvor mennesker fra en bestemt etnisk bakgrunn eller over en viss alder er overrepresentert, kan dette utgjøre indirekte diskriminering.

Indirekte diskriminering kan være vanskelig å identifisere og dokumentere. Når avgjørelsen er truffet av en algoritme, oppstår særskilte utfordringer som manglende gjennomsiktighet og forklarbarhet. Mennesker underlagt beslutninger tatt av algoritmer vet ikke hvorfor beslutningen ble som den ble. Manglende gjennomsiktighet kan gjøre det vanskelig å identifisere det egentlige diskrimineringsgrunnlaget. For utenforstående er det også vanskelig å forstå hvordan algoritmen fungerer.

Tempo og omfang

Fordi algoritmen kan håndtere flere prosesser og fatte flere avgjørelser enn mennesker, vil diskriminering fra algoritmen kunne ramme vesentlig flere. Sett i sammenheng med utfordringene knyttet til manglende gjennomsiktighet og forklarbarhet, oppstår risiko for at diskriminering foregår i stor skala uten å bli avdekket.

Stort tempo og større nedslagsfelt for avgjørelsene aktualiserer spørsmål om behov for vern av andre grupper enn de som omfattes av dagens lovgivning om diskriminering. Forskjellsbehandling på grunnlag av inntekt kan for eksempel tenkes ved stillingsutlysninger, dersom algoritmen vektlegger forhold som kjennetegner en bestemt inntektsgruppe.

Hva nå?

Gjeldende diskriminerings- og personvernlovgiving er viktig for å motvirke algoritmisk diskriminering. Disse løser imidlertid ikke alle utfordringer, som manglende gjennomsiktighet og forklarbarhet.

Det pågår et lovgivningsarbeid i EU for å regulere kunstig intelligens. Behov for gjennomsiktighet, dokumentasjon og bruk av algoritmer i arbeidslivet er blant det som foreslås regulert.

God gjennomsiktighet og dokumentasjon er en forutsetning for kontroll og håndhevelse av diskrimineringsregelverket.  Et forsterket åpenhets -og dokumentasjonskrav vil være viktig i så måte. I arbeidslivet kan et eventuelt lovverk om dette suppleres av sektorspesifikke tariffavtaler.

Fordi algoritmer treffer en stor og spredt befolkningsgruppe, er avdekking av diskriminering en utfordring. Dette kan tenkes adressert gjennom en tilsynsordning – enten en særskilt tilsynsmyndighet, eller at tilsynet legges til eksisterende organer (for eksempel LDO eller Arbeidstilsynet). Behovet for et lovverk som omfatter mer enn de gjeldende diskrimineringsgrunnlag bør også vurderes.

Med økt bruk av algoritmer, øker også risikoen for algoritmisk diskriminering. Et tilpasset regelverk må på plass, før teknologien løper fra oss. Med det riktige regelverket kan vi dra nytte av fordelene kunstig intelligens gir, samtidig som vi minimerer risikoen for diskriminerende behandling.