Twitter-algoritmens racemæssige bias peger på større teknisk problem

Twitter er sat til at starte en undersøgelse af dens billedbeskæringsalgoritme efter at det blev et trendemne, der førte til en større samtale om mangfoldighedsspørgsmål i tech-industrien.

Det sociale medie-juggernaut skabte overskrifter, efter at brugere opdagede tilsyneladende racemæssige skævheder i deres billedforhåndsalgoritme. Opdagelsen skete, efter at Twitter-brugeren Colin Madland brugte platformen til at oplyse Zooms manglende genkendelse af sine sorte kolleger, der brugte green screen-teknologien, men i en storslået ironi fandt han ud af, at Twitters billedbeskæringsalgoritme opførte sig på samme måde og nedprioriterede Black ansigter.

Andre brugere kom ind på tendensen, der udløste en række virale tweets, der viser algoritmen konsekvent prioriterede hvide og lysere ansigter, lige fra mennesker til tegneseriefigurer og endda hunde. Denne fiasko er et tegn på en større kulturel bevægelse i tech-industrien, der konsekvent har undladt at tage højde for minoritetsgrupper, hvilket er smittet over på den tekniske side.

"Det får minoriteter til at føle sig forfærdelige, som om de ikke er vigtige, og det kan bruges til andre ting, der kan forårsage mere alvorlig skade senere." Erik Learned-Miller, professor i datalogi ved University of Massachusetts, sagde i et telefoninterview. "Når du har besluttet, hvad et stykke software kan bruges til, og alle de skader, der kan opstå, så begynder vi at tale om måderne til at minimere chancen for, at det sker."

Kanariefugl på tidslinjen

Twitter bruger neurale netværk til automatisk at beskære billeder, der er indlejret i tweets. Algoritmen formodes at detektere ansigter til forhåndsvisning, men den ser ud til at have en mærkbar hvid skævhed. Virksomhedens talskvinde Liz Kelley tweetede et svar på alle bekymringerne.

Kelley tweetede, "tak til alle, der rejste dette. vi testede for bias, før vi sendte modellen og fandt ikke beviser for race- eller kønsbias i vores test, men det er klart, at vi har flere analyser at lave. vi åbner vores arbejde, så andre kan gennemgå og replikere."

Medforfatter til hvidbogen "Ansigtsgenkendelsesteknologier i naturen: En opfordring til et føderalt kontor" Learned-Miller er en førende forsker i udskejelserne af ansigtsbaseret AI-læringssoftware. Han har diskuteret den potentielle negative virkning af billedindlæringssoftware i årevis og har talt om vigtigheden af ​​at skabe en virkelighed, hvor disse skævheder afbødes til deres bedste evne.

Mange algoritmer til ansigtsgenkendelsesteknologi bruger referencesæt til data, ofte kendt som træningssæt, som er en samling billeder, der bruges til at finjustere adfærden af ​​billedindlæringssoftware. Det giver i sidste ende AI'en mulighed for let at genkende en bred vifte af ansigter. Disse referencesæt kan dog mangle en mangfoldig pulje, hvilket fører til problemer som dem, som Twitter-teamet oplever.

"Det er bestemt et stort problem for enhver minoritet, men jeg tror også, at der er et meget bredere problem," sagde Learned-Miller. "Det relaterer sig til en mangel på mangfoldighed i tech-sektoren og behovet for en centraliseret, regulerende kraft til at vise den korrekte brug af denne form for kraftfuld software, der er tilbøjelig til misbrug og misbrug."

Teknologi mangler mangfoldighed

Twitter er muligvis den seneste teknologivirksomhed på hugget, men det er langt fra et nyt problem. Teknologiområdet forbliver et overvejende hvidt, evigt mandsdomineret felt, og forskere har fundet ud af at manglen på mangfoldighed forårsager en replikering af systemiske, historiske ubalancer i det udviklede software.

I en 2019-rapport fra New York Universitys AI Now Institute, fandt forskere ud af, at sorte udgør mindre end 6 procent af arbejdsstyrken hos de bedste teknologivirksomheder i landet. Tilsvarende tegner kvinder sig kun for 26 procent af arbejderne i marken - en statistik lavere end deres andel i 1960.

På overfladen kan disse repræsentationsproblemer virke banale, men i praksis kan skaden være dyb. Forskere i AI Now Institute-rapporten antyder, at dette kausalt relaterer sig til problemer med software, der ofte ikke tager højde for ikke-hvide og ikke-mandlige populationer. Om det er infrarøde sæbedispensere, der ikke kan registrere mørkere hud eller Amazons AI-software undlader at adskille kvindelige ansigter fra deres mandlige modparters, en manglende evne til at adressere mangfoldighed i teknologiindustrien fører til, at teknologien ikke kan håndtere en mangfoldig verden.

"Der er mange mennesker, der ikke har tænkt gennem problemerne og ikke rigtig er klar over, hvordan disse ting kan forårsage skade, og hvor betydelige disse skader er," foreslog Learned-Miller om AI-billede læring. "Forhåbentlig er det antal mennesker ved at falde!"