KUNSTIG INTELLIGENS: NÅR DET GÅR GALT, GÅR DET RIGTIGT GALT

Kunstig intelligens er ikke en garanti for at man kan undgå fejl, når der skal ansættes nye medarbejdere. Tværtimod, viser SAMDATAMagasinets kortlægning. Der er nemlig rigtigt mange eksempler på, at algoritmerne reproducerer skæve magtforhold og fordomme.

Kunstig intelligens går i disse år sin sejrsgang på HR-afdelinger verden over. Hver eneste dag hopper nye virksomheder med på vognen og tager ny software i brug, med det formål at lette rekrutteringen af de rette medarbejdere. Men det er ikke uden problemer.

SAMDATA-Magasinet har her kortlagt en række historier og eksempler, hvor maskinlæringen ikke bare har gentaget de bias og fordomme, som mennesker allerede har, men også gjort dem værre. Det har i mange tilfælde gjort det sværere for kvinder og personer med etnisk minoritetsbaggrund at få foden indenfor.

Fortiden er fyldt med hvide mænd

Når maskinlæringssoftware trænes til at udvælge kandidater på baggrund af et i forvejen homogent medarbejderfelt, hvor både kvinder og etniske minoritetsgrupper er underrepræsenterede, så forstærkes de biases, der i første omgang har ledt til, at de selvsamme grupper har sværere ved at få job i f. eks. IT-sektoren. Hvilken data, der bruges til at træne en algoritme, er altså helt centralt.

“Du kan få algoritmer, der fortæller dig, hvem du skal ansætte, og de mennesker du skal ansætte er så ligesom dem, der har gjort det godt tidligere. Algoritmerne ser bagud, de er baseret på fortidens data. De mennesker, der har gjort det godt i fortiden, er hvide mænd. Du vil nok ikke bruge den algoritme som ansættelsesstrategi, heller ikke selvom maskinlæringen ville sige, at du skulle,” sagde Peter Cappelli, professor på Wharton School of the University of Pennsylvania, forrige år i universitets egen podcast.

Samme budskab kommer fra IT-giganten SAP, der leverer HR-systemer til mange store virksomheder.

“Maskiner kan ikke lære mere end den data, de bliver trænet med. Det er vigtigt at træne maskiner med data uden bias. Sørg for, at data repræsenterer dine ansættelsesmål. Fjern historisk data, der har bias og tilføj i stedet ny data, der reflekterer dit nye ønskede resultat. Selv hvis du fjerner nogens køn eller etnicitet kan maskinen træffe biased beslutninger, der automatisk tager hensyn til hvilken skole de har gået på eller hvilket område de bor i,” sagde Michele Bezzi fra SAP til Forbes Magazine forrige år.

– 0 –

AMAZON: KVINDER, NEJ TAK

Det skulle være så godt, men det gik helt, helt galt. Nethandelsgiganten Amazon er kendt som en teknologisk frontløber, men trods positionen som en af verdens mest værdifulde virksomheder sker der stadig fejl.
I midten af 2010’erne udviklede firmaet et maskinlæringsprogram, der kunne automatisere gennemlæsningen af CV’er. Et oplagt træk, når man beskæftiger lige så mange medarbejdere, som der bor mennesker i hele Region Midtjylland.

I 2015 måtte Amazon konstatere, at systemet var fejlfyldt – mildest talt. Det var nemlig langt fra kønsneutralt.

Firmaet havde nemlig brugt tidligere indsendte CV’er til at skabe en model for, hvordan ideal-CV’et så ud. Problemet var bare, at hovedparten af ansøgningerne var sendt af mænd, fordi tech-industrien er domineret af mænd. Konsekvensen blev, at mandlige ansøgere blev foretrukket.

Nyhedsbureauet Reuters har beskrevet, at CV’er der indeholdt ordet “women’s”, som for eksempel “women’s chess club captain” blev straffet. Det samme skete med kandidater, der kom fra uddannelsesinstitutioner, hvor der kun går kvinder.

Overfor nyhedsbureauet Reuters sagde Amazon, at værktøjet aldrig var blevet brugt til at vurdere kandidater, men benægtede dog ikke, at firmaets HR-folk kiggede på værktøjets anbefalinger. Amazon forsøgte efterfølgende at gøre systemet kønsneutralt, men endte med at skrotte projektet helt. Sidenhen har firmaet ifølge Reuters startet et nyt udviklingsprojekt, der skal løse opgaven med fokus på at skabe diversitet på arbejdspladsen.

– 0 –

VILLE DU LADE EN REKRUTTERINGSBOT LÆSE DINE PRIVATE E-MAILS?

Du finder et jobopslag, der ser spændende ud. Det vil du gerne søge. På firmaets hjemmeside uploader du dit CV, indsender ansøgning og indtaster dine personlige oplysninger. Under feltet ‘e-mail’ ser du et felt, du ikke er stødt på før: Emailpassword. Udfylder du det?

Dilemmaet kommer fra Finland, hvor to psykologer i 2017 startede rekrutteringsfirmaet Digital Minds. De fik stor opmærksomhed i både medier og af myndighederne, da de fortalte om deres værktøj: En kortlægning af en række personlighedstræk ved at lade en robot gennemgå ansøgerens private e-mails.

Systemet trak på IBM’s cloud-tjeneste Watson, der stiller en lang række maskinlæringsløsninger til rådighed mod betaling. En af dem, der efterfølgende er blevet lukket af IBM, var maskinlæringsfunktionen Personality Insights. Det finske firma brugte altså adgangen til ansøgerens e-mail til at scanne og analysere al e-mail-aktivitet, for at skabe en slags personlighedsvurdering.

Ikke overraskende mødte projektet skarpe reaktioner i offentligheden. Digital Minds blev anmeldt til databeskyttelsesombudsmanden i Finland, der offentligt stillede sig meget skeptiske overfor lovligheden i metoden: Det var formentligt en overtrædelse af loven om privatliv i arbejdslivet.

Ombudsmanden vurderede også, at samtykket til at gennemlæse e-mails kunne være problematisk, fordi en arbejdssøgende er i en sårbar position, hvis de mangler et job, og derfor ikke ville føle sig fri til at sige nej til at give adgang til sine private e-mails.

Senere kom det frem, at Digital Minds slet ikke havde rullet løsningen ud, og at der kun var én enkelt ansøger, der havde sagt ja til at få gennemlæst sine e-mails. Digital Minds lukkede efterfølgende for tjenesten og sagde, at det alene havde været et proof of concept for at vise, at det kunne lade sig gøre.

– 0 –

TALEANALYSE KAN AFGØRE DIN JOBSITUATION

Mange maskinlæringssystemet indenfor rekruttering tager udgangspunkt i det skrevne ord, hvad enten det er ansøgninger, CV’er eller dine personlige emails. Det tyske IT-firma Precire har valgt en anden tilgang. Her er det i stedet taleanalyse, der bruges til at give en vurdering af ansøgeren.

Med en 15 minutter lang lydoptagelse kan firmaet analysere ordvalg og sætningskonstruktioner. Det kan – ifølge Precire – afsløre personlighedstræk og dermed være et værktøj for rekrutteringsfirmaer. Og det er netop rekrutteringsfirmaer, der er Precires kunder.

Den tyske NGO AlgorithmWatch, der kritisk gransker brugen af kunstig intelligens, har interviewet Uwe Kanning, der er professor i erhvervspsykologi, om Precires taleanalyse.

Han siger: “Precire bruger succesfulde menneskers taleprofiler til at finde mennesker med lignende taleprofiler. Det svarer til et scenarie, hvor du har en meget dygtig sælger, der bruger størrelse 47 i sko, og derfor ansætter du i fremtiden kun folk med den skostørrelse. Datagrundlaget er meget lille, og der er risiko for, at tilfældige karakteristikker fejlagtigt bliver tolket som årsager.”

Precire har overfor AlgorithmWatch sagt, at firmaet efterfølgende har fået indhentet 16.000 nye lydoptagelser for at have et større datagrundlag. Han siger også, at systemet ikke skal stå alene, men kun hjælpe mennesker med at træffe beslutninger.

– 0 –

FJERNEDE ANSIGTSUDTRYKSANALYSE FRA SYSTEM

IT-rekrutteringsfirmaet HireVue er gået en anden vej for at hjælpe HR-afdelinger verden over med at finde de rigtige kandidater til ledige stillinger.

Med avanceret kunstig intelligens gennemføres videosamtaler mellem ansøgeren og HireVues server. Ansøgeren får en række spørgsmål, som de besvarer mundtligt, mens de filmes igennem deres webcam. Fuldstændigt som en jobsamtale over Zoom – det er bare en bot, der sidder i den anden ende. Efterfølgende analyserede systemet kandidaterne og giver dem en score.

HireVue har hyret eksterne konsulenter til at kortlægge de bias, der måtte være i systemet. Det medførte primært ros. Men det var – selvfølgelig, fristes man til at sige – ikke fejlfrit.

Undersøgelsen viste f. eks., at personer med minoritetsbaggrund er mere tilbøjelige til at give korte svar, hvilket tæller ned i systemet. Samtidig har firmaet fjernet en funktion, hvor videoerne også blev brugt til at lave analyse ansigtsudtryksanalyse. Det skete efter kritik. HireVue selv siger, at funktionen blev fjernet, fordi den ikke længere var nødvendig og ikke bidrog til bedre resultater.