Hvordan googles stikksag prøver å avgifte internett

Internett kan føles som et giftig sted. Troll kommer ned på kommentarseksjoner og tråder i sosiale medier for å kaste hatefulle ytringer og trakassering, og gjør potensielt opplysende diskusjoner om til ad hominem-angrep og gruppebunker. Å uttrykke en mening på nettet virker ofte ikke verdt den resulterende vitriolen.

Massive sosiale plattformer - inkludert Facebook, Twitter og YouTube - innrømmer at de ikke kan politisere disse problemene i tilstrekkelig grad. De er i et våpenløp med roboter, troll og alle andre uønskede som glir gjennom innholdsfiltre. Mennesker er ikke fysisk i stand til å lese hver eneste kommentar på nettet; de som prøver angrer ofte.

Tekniske giganter har eksperimentert med forskjellige kombinasjoner av menneskelig moderasjon, AI-algoritmer og filtre for å vasse gjennom floden av innhold som strømmer gjennom feeds hver dag. Jigsaw prøver å finne en midtbane. Alfabetes datterselskap og teknisk inkubator, tidligere kjent som Google Ideas, begynner å bevise at maskinlæring (ML) utformet til verktøy for menneskelige moderatorer kan endre måten vi nærmer oss internettets toksisitetsproblem.

Perspective er et API utviklet av Jigsaw og Googles team for misbruk av teknologi. Den bruker ML for å oppdage overgrep og trakassering på nettet, og scorer kommentarer basert på den opplevde påvirkningen de kan ha på en samtale i et forsøk på å gjøre menneskelige moderators liv lettere.

Perspektiv midt i de ropende kampene

Open-source-teknologien ble først kunngjort i 2017, selv om utviklingen på den startet noen år tidligere. Noen av de første nettstedene som eksperimenterte med Perspective har vært nyhetspublikasjoner som The New York Times og nettsteder som Wikipedia. Men nylig har Perspective funnet et hjem på nettsteder som Reddit og kommentarplattformen Disqus (som brukes på PCMag.com.)

CJ Adams, produktsjef for Perspective, sa at prosjektet ønsket å undersøke hvordan folks stemmer blir tauset på nettet. Jigsaw ønsket å utforske hvordan målrettet misbruk eller en generell atmosfære av trakassering kan skape en avslappende effekt, og fraråde folk til det punktet der de føler at det ikke er verdt tiden eller energien å legge stemmen sin til en diskusjon. Hvor ofte har du sett en tweet, post eller kommentar og valgt å ikke svare, fordi det å kjempe mot troll og få Mad Online bare ikke er verdt å bli forverret?

"Det er veldig enkelt å ødelegge en online samtale, " sa Adams. "Det er lett å hoppe inn, men en person som virkelig er slem eller giftig, kan føre andre stemmer ut. Kanskje 100 mennesker leser en artikkel eller starter en debatt, og ofte ender du med at de høyeste stemmene i rommet er de eneste som er igjen, på et internett som er optimalisert for liker og delinger. Så du slags stillhet alle disse stemmene. Så hva som definerer debatten er bare den høyeste stemmen i rommet - den ropende kampen."

Jigsaw og Google

Det har vært et tøft år for Jigsaws søsterselskap, Google, som har kjempet med datasikkerhetsproblemer, ansattes tilbakeslag for sitt engasjement i prosjekter for Pentagon og Kina, og avsløringer om håndteringen av seksuell trakassering. For ikke å snakke om en omstridt kongreshøring der administrerende direktør Sundar Pichai ble grillet av lovgivere.

Over på Jigsaw, alfabetets altruistiske inkubator, har ting vært litt mindre dramatiske. Teamet har brukt tiden sin på å undersøke mer tekniske former for sensur, for eksempel DNS-forgiftning med sin Intra-app og DDoS-angrep med Project Shield. Med Perspektiv er målet mer abstrakt. I stedet for å bruke maskinlæring for å bestemme hva som er eller ikke er i strid med et gitt regelverk, er Perspektive utfordring en intenst subjektiv: å klassifisere den emosjonelle effekten av språk.

For å gjøre det, trenger du naturlig språkbehandling (NLP), som bryter ned en setning for å oppdage mønstre. Perspektivteamet konfronterer problemer som bekreftelsesskjevhet, gruppetenk og trakasserende atferd i et miljø der teknologien har forsterket rekkevidden og gjort dem vanskeligere å løse.



AI er 'galt og stumt noen ganger'

Å forbedre online samtaler med maskinlæring er ikke en enkel oppgave. Det er fremdeles et voksende forskningsfelt. Algoritmer kan være partiske, maskinlæringssystemer krever uendelig forfining, og de vanskeligste og viktigste problemene er fremdeles i stor grad uutforsket.

Forskningsgruppen Samtale AI, som skapte Perspektiv, startet med å møte med aviser, utgivere og andre nettsteder som vert for samtaler. Noen av de første nettstedene som eksperimenterte med teknologien var The New York Times , Wikipedia, The Guardian og The Economist .

I 2017 åpnet teamet opp den første Perspective-demoen via offentlig nettside som en del av en alfa-test, og lot folk skrive millioner av svake, voldelige kommentarer inn på nettstedet. Det var på samme måte som Microsofts beryktede mislykkede Tay chatbot-eksperiment, bortsett fra i stedet for å lure boten til å svare med rasistiske tweets, brukte Jigsaw den folkemessige virulensen som treningsdata for å mate modellene sine, og hjalp til med å identifisere og kategorisere forskjellige typer online misbruk.

Den første offentlige testkjøringen gikk ikke uten problemer. Wires "Trolls Across America", som brøt ned toksisiteten i kommentarer over hele landet basert på Perspektiv-scoring, viste hvordan algoritmen utilsiktet diskriminerte grupper etter rase, kjønnsidentitet eller seksuell legning.

Adams var åpenlyst om det faktum at Perspective sin første testing avdekket store blinde flekker og algoritmiske skjevheter. I likhet med Amazons utrangerte rekrutteringsverktøy, som trente på flere tiår med mangelfulle stillingsdata og utviklet en iboende skjevhet mot kvinnelige søkere, hadde de tidlige perspektivmodellene blanke feil på grunn av dataene den ble trent på.

"I eksemplet med ofte målrettede grupper, hvis du så på fordelingen på tvers av kommentarene i treningsdatasettet, var det et forsvinnende lite antall kommentarer som inkluderte ordet 'homofil' eller 'feminist' og brukte det på en positiv måte, forklarte Adams. "Overgrepende kommentarer bruker ordene som fornærmelser. Så ML, som ser på mønstrene, vil si:" Hei, tilstedeværelsen av dette ordet er en ganske god prediktor for om denne følelsen er giftig eller ikke."

For eksempel kan alfa-algoritmen feilaktig ha merket uttalelser som "Jeg er en stolt homofil mann", eller "Jeg er feminist og transkjønn" med høye toksisitetspoeng. Men den offentlig transparente treningsprosessen - mens den var smertefull - var en uvurderlig leksjon for Jigsaw i konsekvensene av utilsiktet skjevhet, sa Adams.

Når du trener maskinlæringsmodeller på noe så urovekkende og personlig som online misbruk og trakassering, understreker eksistensen av algoritmiske skjevheter også hvorfor AI alene ikke er løsningen. Sosiale selskaper som Facebook og YouTube har begge utpekt deres plattformers AI-innhold-moderasjonsfunksjoner bare for å spore midt i skandale og selvfølgelig korrigere ved å ansette tusenvis av menneskelige moderatorer.

Jigsaws takling er en hybrid av de to. Perspektiv er ikke AI-algoritmer som tar beslutninger i et vakuum; APIen er integrert i samfunnsstyring og innholdsmoderasjonsgrensesnitt for å tjene som et hjelpemiddel for menneskelige moderatorer. Perspektivingeniører beskriver moderering av hatefulle ytringer med og uten ML ved hjelp av en høystakke-analogi: AI hjelper ved å automatisere sorteringsprosessen, pisker ned enorme høstemurer mens de fremdeles gir mennesker den endelige uttalelsen om en kommentar anses for voldelig eller trakassering.

"Det er denne nye muligheten til ML, " sa Adams. "Folk snakker om hvor smart AI er, men de snakker ofte ikke om alle måtene det er galt og stum av og til. Fra første stund visste vi at dette kom til å gjøre mange feil, og derfor sa vi: 'Dette verktøyet er nyttig for maskinassistert menneskelig moderasjon, men det er ikke klart til å ta automatiske beslutninger. ' Men det kan ta problemet med "nålen i en høystakk" å finne denne giftige talen og få den ned til en håndfull høy. ”



Hva er et toksisitetspoeng?

Det mest splittende aspektet ved Perspektivs modellering er å sette tallene til en variabel så subjektiv som "giftighet". Det første Adams påpekte er at Perspektivs poengsummer er en indikasjon på sannsynlighet, ikke alvorlighetsgrad. Høyere tall representerer en høyere sannsynlighet for at mønstre i teksten ligner mønstre i kommentarer folk har merket som giftige.

Når det gjelder hva "giftig" faktisk betyr, definerer Perspektivteamet det bredt som "en frekk, respektløs eller urimelig kommentar som sannsynligvis vil få deg til å forlate en diskusjon." Men hvordan det manifesterer seg kan være subtilt. I 2018 samarbeidet Jigsaw med Rhodes Artificial Intelligence Lab (RAIL) for å utvikle ML-modeller som kan plukke opp mer tvetydige former for truende eller hatefull tale, for eksempel en avvisende, nedlatende eller sarkastisk kommentar som ikke er åpenlyst fiendtlig.

Frem til dette tidspunktet har de fleste av Perspective-modeller blitt opplært ved å be folk om å rangere internettkommentarer i en skala fra "veldig giftig" til "veldig sunn." Utviklere kan deretter kalibrere modellen for å flagge kommentarer over en viss terskel, fra 0, 0 til 1, 0. En score over 0, 9 indikerer stor sannsynlighet for toksisitet, og en score på 0, 5 eller under betyr en langt lavere grad av algoritmisk sikkerhet. Perspektiv bruker også det som kalles score normalisering, noe som gir utviklere en jevn grunnlag for å tolke score. Adams forklarte at avhengig av forum eller nettsted kan utviklere blande og matche modeller. Så når et samfunn ikke har noe imot banning, kan den egenskapen veies ned.

Adams viste meg et demo-moderasjonsgrensesnitt integrert med Perspective API. I administratorpanelet, ved siden av alternativene for å sortere kommentarer etter topp, nyeste og så videre, er et lite flaggikon for å sortere etter toksisitet. Det er også en innebygd tilbakemeldingsmekanisme for den menneskelige moderatoren for å fortelle Perspektiv at den scoret en kommentar feil og forbedre modellen over tid.

Han klikket gjennom et demo-grensesnitt for å moderere Wikipedia-diskusjonsside-kommentarer scoret av forskjellige perspektivmodeller, og en histogramgrafikk som viser hvilke kommentarer som sannsynligvis vil være et angrep på en sideforfatter eller et angrep på en annen kommentator.

"Vi ønsker å bygge maskinassisterte moderasjonsverktøy for å flagge ting for et menneske å gjennomgå, men vi vil ikke at noen sentral definisjon eller noen skal si hva som er bra og dårlig, " sa Adams. "Så hvis jeg sorterer etter toksisitet, ser du at kommentarer kommer til toppen. Men hvis du bryr deg mer om, la oss si, identitetsangrep eller trusler enn beregninger som å banne, kanskje du ikke ville brukt en generell toksisitetsmodell. Dette er ingredienser som du kan blande. Vi tilbyr disse, og utviklere vekt dem."

RAIL-eksperimentet tar en mer granulær tilnærming. Studentene i Oxford grad bygger et datasett med titusenvis av kommentarer fra den kanadiske avisen Globe and Mail 's kommentardel og Wikipedia Talk sider. De ber menneskelige "kommentarer" om å svare på spørsmål om hver kommentar relatert til fem underattributter av "usunt innhold": fiendtlige eller fornærmende (troll), avvisende, nedlatende eller nedlatende, sarkastiske og urettferdige generaliseringer.

Hjemme på disse mer subtile attributtene har avslørt nye komplekse problemer med utilsiktet skjevhet mot spesifikke grupper og falske positiver med sarkastiske kommentarer. Det er en del av AI-voksesmerter, og mater mer og mer data for å forstå implisitte, indirekte betydninger bak menneskets tale. Teamet kjemper fortsatt gjennom og kommenterer tusenvis av kommentarer, og det planlegger å gi ut det endelige datasettet tidlig i år.

"Det vi ønsker å jobbe mot, er noe der samfunnet kan score et sett med kommentarer, og så kan vi gjøre dem til en tilpasset blanding av perspektivmodeller å matche, " sa Adams.



Reddit's Curious Testbed

Reddit er et mikrokosmos av alt som er bra og forferdelig med internett. Det er et subreddit-samfunn for alle emner og nisje, bisarre interesser du kan tenke på. Jigsaw fungerer ikke med Reddit på bedriftsnivå, men et av de mest spennende stedene der Perspektivs AI-moderasjon blir testet, er på en subreddit kalt r / changemyview.

Overraskende nok er det hjørner av internett der ekte debatt og diskusjon fremdeles skjer. Change My View, eller CMV, er ikke som de fleste andre subreddits. Tanken er å legge ut en mening du aksepterer kan være feil eller er åpen for å ha endret seg, for så å lytte til og forstå andre synspunkter for å se om de kan ombestemme deg om et spørsmål. Trådene spenner fra verdslige temaer som riktig visningsrekkefølge for Star Wars- filmer til alvorlige diskusjoner om saker som blant annet rasisme, politikk, pistolkontroll og religion.

Change My View er en interessant testbed for Perspective fordi subreddit har sitt eget detaljerte sett med regler for å starte og moderere samtaler som fremkaller argumentasjon og opphetet debatt av design. Kal Turnbull, som går av u / Snorrrlax på Reddit, er grunnleggeren og en av moderatorene til r / changemyview. Turnbull fortalte PCMag at API-perspektivet stemmer spesielt godt overens med subens regel 2, som i utgangspunktet forbyr uhøflig eller fiendtlig tale.

"Det høres ut som en enkel regel, men det er mye nyanse for det, " sier Turnbull, som har base i Skottland. “Det er vanskelig å automatisere denne regelen uten å være flink med språket. Reddit gir deg denne tingen som heter AutoModerator, hvor du kan sette opp filtre og nøkkelord for flagging. Men det er så mange falske positiver, og det kan være ganske vanskelig å fange, fordi noen kan si et dårlig ord uten å fornærme noen, og de kan også fornærme noen uten å bruke noen dårlige ord. ”

Jigsaw nådde ut til Turnbull i mars 2018. Samarbeidet begynte med regel 2, men snart bygde teamet perspektivmodeller for andre regler også. Det er ikke en fullstendig integrasjon av open source Perspective API, men snarere en Reddit-bot som lar moderatorer flagge kommentarer som er scoret over en gitt giftighetsgrense.

I løpet av de siste seks årene har Turnbull og de andre modiene gjort alt dette manuelt fra køen til AutoModerator-rapporter (flaggede nøkkelord) og brukerrapporter. Jigsaw brukte år med regelovertredelsesnotater fra moderatorer, som de sporet gjennom en nettleserutvidelse, og bygde Perspektivmodeller basert på disse dataene kombinert med noen av Perspektives eksisterende toksisitetsmodeller. Gjennom hele 2018 ga CMV-modsene tilbakemeldinger på spørsmål som overflødige falske positiver, og Jigsaw finjusterte poenggrensene mens de fortsatte å modellere flere av CMVs regler.



Komplekse dommer i online debatt

(Perspective bot integrert i Reddit moderator-grensesnittet.)

Perspektiv er ikke levende for all subreddits regelmoderasjon. Noen av de mer kompliserte eller abstrakte reglene er fortsatt utenfor omfanget av hva denne typen ML kan forstå.

Regel 4, for eksempel, styrer underdelens Delta-poengsystem, mens regel B hindrer brukere i å spille djevelens talsmann eller bruke et innlegg for "soapboaxing." Nyansert moderasjon som det krever kontekstuelle data og vanlig menneskelig forståelse, for å skjønne om noen krangler et poeng av ekte grunner eller bare trolling.

I overskuelig fremtid trenger vi fortsatt menneskelige mods. Disse mer komplekse vurderingsscenariene er der CMV-moderatorene begynner å se sprekker i AI-modelleringen, og mer smart automatisering kan avgjøre om alt dette er skalerbart.

"Jeg tror grunnen til at dette er så komplisert, er fordi det er en kombinasjon av vår vurdering av deres opprinnelige innlegg og deres interaksjon gjennom hele samtalen. Så det er ikke bare en kommentar som utløser en modell, " sa Turnbull. "Hvis et argument går fram og tilbake, og på slutten er en kommentar som sier 'takk' eller en anerkjennelse, lar vi det gå selv om en regel ble brutt tidligere i tråden. Eller en lettsindig vits som i sammenheng kan virke å være uhøflig - det er en fin liten menneskelig ting, og det er noe boten ikke får ennå."

Change My View er den eneste subredditen som aktivt bruker Perspective ML-modeller for moderering for øyeblikket, selv om Adams sa at teamet har mottatt tilgangsforespørsler fra flere andre. Det spesifikke regelverket med CMV gjorde det til en ideell testkoffis, men perspektivmodeller er formbare; individuelle subreddits kan tilpasse scoringsalgoritmen til å samsvare med samfunnsretningslinjene.

Det neste trinnet for Turnbull er å ta CMV av Reddit fordi samfunnet vokser ut av det, sa han. Det siste halvåret har moderatorenes nyopprettede oppstart jobbet med Jigsaw på et dedikert nettsted med dypere funksjonalitet enn Reddits modgrensesnitt og roboter kan gi.

Prosjektet er fortsatt bare i alfa-testing, men Turnbull snakket om funksjoner som proaktive varsler når en bruker skriver en kommentar som kan bryte en regel, innebygd rapportering for å gi moderatorer mer kontekst og historiske data for å ta beslutninger. Turnbull understreket at det ikke er planer om å legge ned eller migrere subreddit, men han er spent på det nye eksperimentet.

• Alle kommentarene passer til utskrift

  Avhengig av ukens dag, får The New York Times’ nettsted alt fra 12 000 til mer enn 18 000 kommentarer. Fram til midten av 2017 ble avdelingens kommentarseksjoner moderert av en ansattes ledelse på heltid som leste hver eneste kommentar og bestemte seg for å godkjenne eller avvise den.

  Bassey Etim, som inntil denne måneden var samfunnsredaktør for Times , tilbrakte et tiår på Community desk og var redaktør siden 2014. På høyden av en ukedag kan teamet ha noen få mennesker som modererer kommentarer til meningshistorier mens andre taklet nyheter. Et regneark delte opp og sporet forskjellige ansvarsområder, men teamet på omtrent et dusin mennesker ble stadig tildelt eller flyttet rundt, avhengig av øyeblikkets toppnyheter. De matet også småtterier fra kommentarene tilbake til reportere for potensiell historiefôr.

  Etter hvert ble det klart at dette var mer enn 12 mennesker kunne takle. Kommentarseksjoner om historier må lukkes etter å ha nådd et maksimalt antall kommentarer teamet kan moderere.

  Avisens publikumsutviklingsgruppe hadde allerede eksperimentert med maskinlæring for grunnleggende, åpenbare kommentargodkjenninger, men Etim sa at det ikke var spesielt smart eller tilpasses. The Times kunngjorde først sitt samarbeid med Jigsaw i september 2016. Siden den gang har kommentarseksjonene utvidet seg fra å vises på under 10 prosent av alle historiene til rundt 30 prosent i dag og klatre.

  Fra Jigsaws perspektiv så inkubatoren muligheten til å mate Perspektiv anonymiserte data fra millioner av kommentarer per dag, moderert av fagpersoner som kunne hjelpe med å avgrense prosessen. I bytte mot de anonymiserte treningsdataene for ML jobbet Jigsaw og Times sammen for å bygge en plattform kalt Moderator, som rullet ut i juni 2017.



Inne i moderator, NYT-kommentargrensesnittet

(Bilde med tillatelse fra The New York Times )

Moderator kombinerer Perspective-modeller med mer enn 16 millioner anonyme, modererte Times- kommentarer fra 2007.

Det samfunnsteamet faktisk ser i Moderator-grensesnittet, er et dashbord med et interaktivt histogramdiagram som visualiserer kommentarfordelingen over en viss terskel. De kan for eksempel dra glidebryteren frem og tilbake for automatisk å godkjenne alle kommentarer med bare 0 til 20 prosent sammendragsscore, som er basert på en kombinasjon av en kommentars potensiale for uanstendighet, toksisitet og sannsynlighet for å bli avvist. Det er raske moderasjonsknapper nedenfor for å godkjenne eller avvise en kommentar, utsette den eller tagge kommentaren, for å fortsette å forbedre Perspective's modellering.

"For hver del av nettstedet analyserte vi innkomne kommentarer og hvordan Perspektiv ville merke dem. Vi brukte både de offentlige perspektivmodellene og våre egne modeller unike for The New York Times , " sa Etim. "Jeg ville analysere kommentarer fra hver seksjon og prøve å finne avskjæringspunktet der vi ville være komfortable med å si: 'OK, alt over denne sannsynligheten ved å bruke disse spesifikke toksisitetskoder, som for eksempel uanstendighet, vi kommer til å godkjenne."

Læring av maskiner godkjenner en relativt liten prosentandel av kommentarer (rundt 25 prosent eller så, sa Etim), da Times jobber for å rulle ut kommentarer til flere historier og til slutt til og med å tilpasse hvordan modellene filtrerer og godkjenner kommentarer for forskjellige deler av nettstedet. Modellene godkjenner bare kommentarer; avvisning blir fortsatt håndtert helt av menneskelige moderatorer.

De manuelle kommentaravskjæringene er borte. Kommentarer lukker vanligvis en historie enten 24 timer etter at den publiseres på nettet eller dagen etter at den publiseres på trykk, sa Etim.

"Vi erstatter deg ikke med maskiner"

Neste fase bygger flere funksjoner i systemet for å hjelpe moderatorer med å prioritere hvilke kommentarer de skal se på først. I økende grad har automatisering av det som alltid har vært en manuell prosess gjort det mulig for moderatorer å bruke tid proaktivt på å jobbe med reportere for å svare på kommentarer. Det er laget en tilbakemeldingssløyfe der kommentarer fører til oppfølgingsrapportering og flere historier - kan spare og fordele ressurser for å skape mer journalistikk.

"Moderator og perspektiv har gjort Times mye mer lydhør overfor lesernes bekymringer, fordi vi har ressurser til å gjøre det, enten det er ved å skrive historier selv eller samarbeide med journalister for å finne ut historier, " sa Etim. "Det kule med dette prosjektet er at vi ikke la noen av. Vi erstatter ikke deg med maskiner. Vi bruker ganske enkelt menneskene vi har mer effektivt og for å ta de virkelig tøffe beslutningene."

Oppgaven er åpen for å samarbeide med andre publikasjoner for å hjelpe resten av industrien med å implementere denne typen teknologi. Det kan hjelpe lokale nyhetssteder med begrensede ressurser til å opprettholde kommentarseksjoner uten en stor dedikert stab og å bruke kommentarer som Times gjør, for å finne potensielle potensielle kunder og gi grunn til grasrotjournalistikk.

Etim likte AI-assistert moderasjon til å gi en bonde en mekanisk plog mot en spade. Du kan gjøre jobben mye bedre med en plog.

"Hvis Perspektiv kan utvikle seg på riktig måte, kan det forhåpentligvis skape i det minste et sett med retningslinjer som er repeterbare for små utsalgssteder, " sa han. "Det er et langt spill, men vi har allerede satt opp mye av grunnlaget for å være en del av leseropplevelsen. Da kan kanskje disse lokale avisene ha kommentarer igjen og etablere et lite strandhode mot de store sosiale aktørene."



Skrikende inn i avgrunnen

På dette tidspunktet har de fleste av oss sett mennesker angrepet eller trakassert på sosiale medier for å gi uttrykk for en mening. Ingen vil at det skal skje med dem, bortsett fra troll som trives med den slags. Og vi har lært at det å rope på en fremmed som aldri kommer til å høre på et rasjonelt argument ikke er en verdifull bruk av vår tid.

Perspektiv prøver å støtte den dynamikken, men CJ Adams sa at det bredere målet er å publisere data, forskning og nye open-source UX-modeller for å skape nye samtalestrukturer - en skremmende oppgave. Å gjøre internett til et sunt sted som er verdt folks tid, betyr å skalere disse systemene utover nyhetskommentarer og subreddits. Til syvende og sist må AI-verktøyene kunne håndtere de gigantiske sosiale appene og nettverkene som dominerer våre daglige digitale interaksjoner.

Ved å legge til side hva Facebook, Twitter og andre sosiale giganter gjør internt, er den mest direkte måten å oppnå dette på å skyve teknologien fra moderatorer til brukerne selv. Adams pekte på Coral Project for en ide om hvordan det kan se ut.

Coral Project ble opprinnelig grunnlagt som et samarbeid mellom Mozilla Foundation, The New York Times og Washington Post. Coral bygger åpen kildekodeverktøy som sin Talk-plattform for å oppmuntre til diskusjon på nettet og gi nyhetsnettsteder et alternativ til å slå av kommentarseksjoner. Talk driver for tiden plattformer for nesten 50 nettbaserte utgivere, inkludert Post , New York Magazine, The Wall Street Journal og The Intercept.

Tidligere denne måneden kjøpte Vox Media Coral Project fra Mozilla Foundation; den planlegger å "dypt integrere" den i kor, dens innholdsstyring og historiefortellingsplattform.

Perspektiv har en plugin for Coral Project som bruker den samme underliggende teknologien - ML-basert toksisitetspoeng og terskelverdier - for å gi brukerne proaktive forslag når de skriver, sa Adams. Så når en bruker skriver en kommentar som inneholder setninger flagget som misbruk eller trakassering, kan det dukke opp en varsling for brukeren som sier "Før du legger ut dette, husk å huske våre retningslinjer for fellesskapet" eller "Språket i denne kommentaren kan krenke våre retningslinjer for fellesskapet. Modereringsteamet vårt vil gjennomgå det innen kort tid."

"Den lille dunken kan hjelpe folk til å bare ta det sekundet til å tenke, men det blokkerer heller ingen, " sa Adams. "Det stopper ikke diskusjonen."

Det er en mekanisme som videospillchat og streamingplattformer har integrert for å hindre overgrep og trakassering. Twitter-brukere kan tydelig også dra fordel av et slikt system.

Det snakker til en ide som MIT-forsker Andrew Lippmann førte opp i PCMag's Future Issue: Han snakket om innebygde mekanismer som ville la folk stoppe opp og tenke før de delte noe på nettet, for å dempe spredningen av feilinformasjon. Konseptet gjelder også for online diskusjon. Vi har laget friksjonsfrie kommunikasjonssystemer som er i stand til å forsterke uttalelsens rekkevidde eksponentielt på et øyeblikk, men noen ganger kan litt friksjon være en god ting, sa Lippmann.

Perspektiv handler ikke om å bruke AI som en teppet løsning. Det er en måte å forme ML-modeller til verktøy for mennesker for å hjelpe dem med å belage sine egne opplevelser. Men ett kontrapunkt er at hvis du gjør det enda enklere for folk å avstemme den online støyen de ikke liker, vil internett bli enda mer et ekkokammer enn det allerede er.

På spørsmål om verktøy som Perspektiv til slutt kan forverre dette, sa Adams at han mener ekkokamre på nettet eksisterer fordi det ikke er noen mekanismer for å være vertskap for en diskusjon der folk meningsfullt kan være uenige.

"Veien til minst motstand er" Disse menneskene kjemper. La oss bare la dem være enige med seg selv i sine egne hjørner. La folk silo seg selv, "sa han. "Du lar folk rope alle andre ut av rommet, eller du avslutter diskusjonen. Vi vil at Perspektiv skal lage et tredje alternativ."

Adams la ut et eksempelscenario. Hvis du spør et rom på 1000 mennesker, "Hvor mange av dere leser noe i dag som du virkelig brydde deg om?" de fleste internettbrukere vil peke på en artikkel, en tweet, et innlegg eller noe de leser på nettet. Men hvis du da spør dem: "Hvor mange av dere trodde det var verdt din tid til å kommentere det eller ta en diskusjon?" alle hendene i rommet vil gå ned.

"For så mange av oss er det bare ikke verdt innsatsen. Diskusjonsstrukturen som vi har akkurat nå, betyr bare at det er et ansvar. Hvis du har en nåværende rimelig tanke eller noe du vil dele, for de fleste, vil de ikke t vil delta, "sa Adams. "Det betyr at av de 1000 menneskene som kan være i rommet, har du bare en håndfull representert i diskusjonen; la oss si, 10 personer. Jeg har stor tro på at vi kan bygge en struktur som lar de andre 990 komme inn i diskusjonen. og gjør det på en måte som de synes er verdt tiden sin."