Kunstig intelligens har et skjevhetsproblem, og det er vår feil

I 2016 jobbet forskere fra Boston University og Microsoft med algoritmer for kunstig intelligens da de oppdaget rasistiske og sexistiske tendenser i teknologien som lå til grunn for noen av de mest populære og kritiske tjenestene vi bruker hver dag. Avsløringen gikk imot den konvensjonelle visdommen om at kunstig intelligens ikke lider av kjønns-, rasemessige og kulturelle fordommer som vi mennesker gjør.

Forskerne gjorde denne oppdagelsen mens de studerte ordinnleggelsesalgoritmer, en type AI som finner korrelasjoner og assosiasjoner mellom forskjellige ord ved å analysere store tekstlegemer. For eksempel kan en trent ordinbedringsalgoritme forstå at ord for blomster er nært beslektet med hyggelige følelser. På et mer praktisk nivå forstår innebygging at begrepet "programmering av datamaskiner" er nært relatert til "C ++", "JavaScript" og "objektorientert analyse og design." Når den er integrert i et CV-søk, kan arbeidsgivere finne kvalifiserte kandidater med mindre krefter. I søkemotorer kan det gi bedre resultater ved å få frem innhold som er semantisk relatert til søkeordet.

BU- og Microsoft-forskerne fant at ordinnleggingsalgoritmene hadde problematiske skjevheter, skjønt - for eksempel å knytte "dataprogrammerer" til mannlige uttaler og "hjemmeværende" med kvinnelige. Funnene deres, som de publiserte i en forskningsartikkel med passende tittel "Man is to Computer Programmer as Woman is to Homemaker?" var en av flere rapporter for å fordype myten om AI-nøytralitet og for å belyse algoritmisk skjevhet, et fenomen som når kritiske dimensjoner etter hvert som algoritmer blir stadig mer involvert i våre daglige beslutninger.

Origins of Algorithmic Bias

Maskinlæring og dyplæringsalgoritmer ligger til grunn for den mest moderne AI-drevne programvaren. I motsetning til tradisjonell programvare, som fungerer basert på forhåndsdefinerte og etterprøvbare regler, skaper dyp læring sine egne regler og lærer ved eksempel.

For å opprette et bildegjenkjenningsapplikasjon basert på dyp læring, "programmerer" for eksempel algoritmen ved å mate den merkede data: i dette tilfellet bilder tagget med navnet på objektet de inneholder. Når algoritmen har inntatt nok eksempler, kan den skaffe vanlige mønstre mellom lignende merkede data og bruke den informasjonen til å klassifisere umerkede prøver.

Denne mekanismen gjør det mulig for dyp læring å utføre mange oppgaver som var praktisk talt umulige med regelbasert programvare. Men det betyr også at dybdelæringsprogramvare kan arve skjulte eller åpenbare skjevheter.

"AI-algoritmer er ikke iboende forutinntatte, " sier professor Venkatesh Saligrama, som underviser ved Boston University's Department of Electrical and Computer Engineering og jobbet med algoritmene til å legge inn ord. "De har deterministisk funksjonalitet og vil plukke opp alle tendenser som allerede eksisterer i dataene de trener på."

Ordet innebygde algoritmer testet av Boston University-forskerne ble trent på hundretusener av artikler fra Google News, Wikipedia og andre online kilder der sosiale skjevheter er dypt innebygd. Som et eksempel, på grunn av brokulturen som dominerer teknologibransjen, kommer mannlige navn oftere opp med teknologirelaterte jobber - og det fører til at algoritmer knytter menn til jobber som programmering og programvareingeniør.

"Algoritmer har ikke det menneskelige sinnets krefter i å skille rett fra galt, " legger Tolga Bolukbasi til, en sisteårs ph.d.-student ved BU. Mennesker kan bedømme moralen i våre handlinger, selv når vi bestemmer oss for å handle mot etiske normer. Men for algoritmer er data den ultimate bestemmende faktoren.

Saligrama og Bolukbasi var ikke de første til å heve alarmen om denne skjevheten. Forskere ved IBM, Microsoft og University of Toronto understreket behovet for å forhindre algoritmisk diskriminering i en artikkel publisert i 2011. Da var algoritmisk skjevhet en esoterisk bekymring, og dyp læring hadde fremdeles ikke funnet veien inn i mainstream. I dag, men algoritmiske skjevheter setter imidlertid allerede preg på mange av tingene vi gjør, for eksempel å lese nyheter, finne venner, handle på nettet og se på videoer på Netflix og YouTube.

Effekten av algoritmisk skjevhet

I 2015 måtte Google be om unnskyldning etter at algoritmene som driver sin Photos-app, merket to svarte mennesker som gorillaer - kanskje fordi treningsdatasettet ikke hadde nok bilder av svarte mennesker. I 2016, av de 44 vinnerne av en skjønnhetskonkurranse bedømt av AI, var nesten alle hvite, noen få asiatiske, og bare en hadde mørk hud. Igjen, grunnen var at algoritmen stort sett var trent med bilder av hvite mennesker.

Google Photos, du er knullet. Min venn er ikke en gorilla. pic.twitter.com/SMkMCsNVX4

- Jackyalciné svarer ikke mye her. DM (@jackyalcine) 29. juni 2015

Nylig fant en test av IBM og Microsofts ansiktsanalysetjenester selskapenes algoritmer var nesten feilfrie med å oppdage kjønn på menn med lys hud, men ble ofte feil når de ble presentert for bilder av kvinner med mørk hud.

Selv om disse hendelsene sannsynligvis forårsaket ubetydelig skade, kan ikke det samme sies om AI-algoritmer i mer kritiske domener, for eksempel helsehjelp, rettshåndhevelse og rekruttering. I 2016 fant en undersøkelse av ProPublica at COMPAS - AI-drevet programvare som vurderer risikoen for tilbakevending hos lovbrytere - var partisk mot mennesker av farger. Oppdagelsen gjaldt spesielt fordi dommere i noen stater bruker COMPAS for å avgjøre hvem som går fri og hvem som blir i fengsel.

I et annet tilfelle fant en studie av Googles annonseringsplattform, som er drevet av dybdelæringsalgoritmer, at menn oftere ble vist annonser for høyt betalte jobber enn kvinner. En egen studie fant et lignende problem med LinkedIns stillingsannonser. Enda en annen viste at partiske ansettelsesalgoritmer var 50 prosent mer sannsynlig for å sende en intervjuinvitasjon til en person som heter europeisk-amerikansk enn til noen med et afro-amerikansk navn.

Områder som lånegodkjenning, kredittvurdering og stipend står overfor lignende trusler.

Algoritmisk skjevhet er ytterligere bekymringsfull på grunn av hvordan den kan forsterke sosiale skjevheter. Under illusjonen om at AI er kald, matematisk beregning uten fordomme eller skjevheter, kan mennesker ha en tendens til å stole på algoritmisk vurdering uten å stille spørsmål ved den.

I et intervju med Wired UK observerte Edinburgh Napier University kriminologilektor Andrew Wooff at den "tidspressede, ressurskrevende" politiets verden kan føre til at advokatfullmektiger stoler for mye på algoritmiske beslutninger. "Jeg kan forestille meg en situasjon der en politibetjent kan stole mer på systemet enn sine egne beslutningsprosesser, " sa han. "Delvis kan det være slik at du kan rettferdiggjøre en beslutning når noe går galt."

Å stole på partiske algoritmer skaper en tilbakemeldingssløyfe: Vi tar beslutninger som lager mer partiske data som algoritmer deretter vil analysere og trene på i fremtiden.

Denne typen ting skjer allerede på sosiale medienettverk som Facebook og Twitter. Algoritmer som kjører nyhetsfeedene, lager "filterbobler", som viser innhold som samsvarer med brukernes preferanser og skjevheter. Dette kan gjøre dem mindre tolerante overfor motstridende synspunkter og kan også polarisere samfunnet ytterligere ved å drive en kil gjennom det politiske og sosiale skillet.

"Algoritmisk skjevhet kan potensielt påvirke enhver gruppe, " sier Jenn Wortman Vaughan, seniorforsker ved Microsoft. "Grupper som er underrepresentert i dataene kan være spesielt utsatt."

I domener som allerede er kjent for skjevhet, for eksempel tech-bransjens endemiske diskriminering av kvinner, kan AI-algoritmer fremheve disse skjevhetene og føre til ytterligere marginalisering av grupper som ikke er godt representert.

Helse er et annet kritisk domene, påpeker Wortman. "Det kan føre til alvorlige problemer hvis en maskinlæringsalgoritme som brukes til medisinsk diagnose, blir opplært i data fra en populasjon og som et resultat ikke klarer å prestere bra på andre, " sier hun.

Skjevhet kan også være skadelig på mer subtile måter. "I fjor planla jeg å ta datteren min for en hårklipp og søkte på nettet etter bilder av 'småbarnshårklipp' for inspirasjon, " sier Wortman. Men bildene som ble returnert var nesten alle hvite barn, først og fremst med rett hår, og mer overraskende, først og fremst gutter, la hun merke til.

Eksperter kaller dette fenomenet "representasjonsskade": når teknologi forsterker stereotypier eller reduserer bestemte grupper. "Det er vanskelig å kvantifisere eller måle den eksakte effekten av denne typen skjevheter, men det betyr ikke at det ikke er viktig, " sier Wortman.

Fjerne skjevheter fra AI-algoritmer

De stadig mer kritiske implikasjonene av AI-skjevhet har vakt oppmerksomheten fra flere organisasjoner og myndighetsorganer, og det blir tatt noen positive skritt for å ta opp de etiske og sosiale spørsmålene rundt bruken av AI på forskjellige felt.

Microsoft, hvis produkter er veldig avhengige av AI-algoritmer, lanserte et forskningsprosjekt for tre år siden kalt Fairness, Accountability, Transparency and Ethics in AI (FATE) som hadde som mål å gjøre det mulig for brukere å glede seg over den forbedrede innsikten og effektiviteten til AI-drevne tjenester uten diskriminering og partiskhet.

I noen tilfeller, som den AI-dømte skjønnhetskonkurransen, kan det være like enkelt å finne og fikse kilden til en AI-algoritmes partiske oppførsel som å sjekke og endre bildene i treningsdatasettet. Men i andre tilfeller, for eksempel ordinnleggelsesalgoritmene som Boston University-forskerne undersøkte, blir skjevheter inngravert i treningsdataene på mer subtile måter.

BU-teamet, som ble sammen med Microsoft-forsker Adam Kalai, utviklet en metode for å klassifisere ordinnlegginger basert på deres kjønnskategoriseringer og identifisere analogier som potensielt var partiske. Men de tok ikke den endelige avgjørelsen og ville lede hver av de mistenkte foreningene av 10 personer på Mechanical Turk, Amazons online markedsplass for datarelaterte oppgaver, som ville avgjøre om foreningen skulle fjernes eller ikke.

"Vi ønsket ikke å sette inn egne skjevheter i prosessen, " sier Saligrama, BU-professoren og forskeren. "Vi ga bare verktøyene for å oppdage problematiske assosiasjoner. Mennesker tok den endelige avgjørelsen."

I en nyere artikkel foreslo Kalai og andre forskere bruk av separate algoritmer for å klassifisere forskjellige grupper mennesker i stedet for å bruke de samme tiltakene for alle. Denne metoden kan vise seg effektiv i domener der eksisterende data allerede er partisk til fordel for en spesifikk gruppe. For eksempel vil algoritmene som vil evaluere kvinnelige søkere til en programmeringsjobb, bruke kriterier som er best egnet for den gruppen i stedet for å bruke det bredere datasettet som er dypt påvirket av eksisterende skjevheter.

Microsofts Wortman ser inkludering i AI-bransjen som et nødvendig skritt for å bekjempe skjevhet i algoritmer. "Hvis vi vil at AI-systemene våre skal være nyttige for alle og ikke bare visse demografier, må selskaper ansette forskjellige team for å jobbe med AI, " sier hun.

I 2006 hjalp Wortman med å finne Women in Machine Learning (WiML), som holder et årlig verksted der kvinner som studerer og jobber i AI-bransjen kan møte, nettverk, utveksle ideer og delta på paneldiskusjoner med eldre kvinner i industrien og akademia. En lignende innsats er den nye Black in AI Workshop, grunnlagt av Timnit Gebru, en annen Microsoft-forsker, som har som mål å bygge mer mangfoldig talent i AI.

Boston Universitys Bolukbasi foreslår også å endre måten AI-algoritmer løser problemer. "Algoritmer vil velge et regelverk som maksimerer deres mål. Det kan være mange måter å nå det samme settet med konklusjoner for gitte input output-par, " sier han. "Ta eksempelet med flervalgsforsøk for mennesker. Man kan komme til riktig svar med en feil tenkeprosess, men likevel få samme poengsum. En test av høy kvalitet bør utformes for å minimere denne effekten, og bare tillate menneskene som virkelig kjenne emnet for å få korrekte poengsummer. Å gjøre algoritmer oppmerksom på sosiale begrensninger kan sees på som en analog til dette eksempelet (selv om det ikke er et eksakt), der det å lære et galt regelverk blir straffet i målet. Dette er en pågående og utfordrende forskning emne."

AIs Opacity kompliserer rettferdighet

En annen utfordring som står i veien for å gjøre AI-algoritmer mer rettferdig, er fenomenet "black box". I mange tilfeller vokter selskaper sjaluøst algoritmene sine: For eksempel har Northpointe Inc., produsenten av COMPAS, den kriminelle forutsigende programvaren, nektet å avsløre sin egenutviklede algoritme. De eneste menneskene som er interessert i COMPAS 'indre virke er programmererne, ikke dommerne som bruker den for å dømme.

Bortsett fra forretningshemmelighet, blir AI-algoritmer noen ganger så innviklet at årsakene og mekanismene bak beslutningene deres unngår selv deres skaper. I Storbritannia bruker politiet i Durham AI-systemet HART for å avgjøre om mistenkte har en lav, moderat eller høy risiko for å begå ytterligere forbrytelser i løpet av en toårsperiode. Men en akademisk gjennomgang av HART fra 2017 observerte at "uklarhet virker vanskelig å unngå." Dette er delvis på grunn av den store mengden og mangfoldige data systemet bruker, noe som gjør det vanskelig å analysere årsakene bak beslutningene. "Disse detaljene kan gjøres fritt tilgjengelig for allmennheten, men det vil kreve enormt mye tid og krefter for å forstå det fullt ut, " heter det i avisen.

Flere selskaper og organisasjoner leder anstrengelser for å få åpenhet til AI, inkludert Google, som har lansert GlassBox, et initiativ for å gjøre oppførselen til maskinlæringsalgoritmer mer forståelig uten å ofre utskriftskvaliteten. Defense Advanced Research Projects Agency (DARPA), som fører tilsyn med bruken av AI i militæret, finansierer også et forsøk på å gjøre det mulig for AI-algoritmer å forklare beslutningene sine.

I andre tilfeller vil menneskelig skjønn være nøkkelen til å håndtere skjevhet. For å forhindre at eksisterende rasemessige og sosiale menneskelige skjevheter kryper inn i HARTs algoritmer, ga Durham Constabulary medarbeiderne sine bevissthetsøkter rundt ubevisste skjevheter. Politistyrken har også tatt skritt for å fjerne datapunkter som rasetrekk, noe som kan skape grunnlag for partiske avgjørelser.

Menneskelig ansvar

Fra et annet perspektiv kan AI-algoritmer gi en mulighet til å reflektere over våre egne skjevheter og fordommer. "Verden er partisk, de historiske dataene er partiske, og det er derfor ikke overraskende at vi får partiske resultater, " sa Sandra Wachter, en forsker innen dataetikk og algoritmer ved University of Oxford, til The Guardian .

Wachter er en del av et forskerteam fra Alan Turing Institute i London og University of Oxford, som publiserte et papir der det ble bedt om forskrifter og institusjoner for å undersøke mulig diskriminering av AI-algoritmer.

Joanna Bryson, dataforsker ved University of Bath og medforfatter av et forskningsoppgave om algoritmisk skjevhet, sa også " The Guardian ": Mange mennesker sier at AI er forhåndsdømt. Nei. Dette viser at vi er forhåndsdømt og at AI lærer det."

I 2016 lanserte Microsoft Tay, en Twitter-bot som skulle lære av mennesker og delta i smarte samtaler. Men innen 24 timer etter Tys lansering måtte Microsoft legge ned den etter at den begynte å spire rasistiske kommentarer, som den hadde plukket opp fra samtalene med Twitter-brukere. Kanskje er dette en påminnelse om at det er på tide at vi mennesker erkjenner vår egen rolle i tilsynekomsten og forplantningen av det algoritmiske skjevhetsfenomenet og tar kollektive skritt for å angre dens effekter.

"Dette er en veldig komplisert oppgave, men det er et ansvar som vi som samfunn ikke skal vike unna, " sier Wachter.