Hvordan openais falske nyhetsvarsler utløste faktiske falske nyheter

Non-profit AI forskningslaboratorium OpenAI forårsaket en bølge av AI apokalypspanikk i forrige måned da det introduserte en topp moderne tekstgenererende AI kalt GPT-2. Men mens den feiret prestasjonene med GPT-2, erklærte OpenAI at de ikke ville gi ut sin AI-modell for publikum, i frykt for at GPT-2 i gale hender kunne brukes til ondsinnede formål som å generere villedende nyhetsartikler, etterligne andre på nettet, og automatiserer produksjonen av falske innhold på sosiale medier.

Forutsigbart skapte OpenAIs kunngjøring en flom av oppsiktsvekkende nyheter, men mens all avansert teknologi kan våpenvåkes, har AI fremdeles langt igjen før den mestrer tekstgenerering. Selv da tar det mer enn tekstgenererende AI for å skape krise med falske nyheter. I dette lyset var OpenAIs advarsler overdrevet.

AI og menneskelig språk

Datamaskiner har historisk slitt med å håndtere menneskers språk. Det er så mange kompleksiteter og nyanser i skrevet tekst at det praktisk talt er umulig å konvertere dem til klassiske programvareregler. Men nyere fremskritt innen dyp læring og nevrale nettverk har banet vei for en annen tilnærming til å lage programvare som kan håndtere språkrelaterte oppgaver.

Dyp læring har brakt store forbedringer innen felt som maskinoversettelse, tekstoppsummering, svar på spørsmål og generering av naturlig språk. Den lar programvareingeniører lage algoritmer som utvikler sin egen atferd ved å analysere mange eksempler. For språkrelaterte oppgaver mater ingeniører nevrale nettverk digitalisert innhold som nyheter, Wikipedia-sider og innlegg i sosiale medier. Neuralnet sammenligner dataene nøye og legg merke til hvordan visse ord følger andre i gjentagende sekvenser. De gjør så disse mønstrene til komplekse matematiske ligninger som hjelper dem å løse språkrelaterte oppgaver som for å forutsi manglende ord i en tekstsekvens. Generelt, jo mer kvalitetsopplæringsdata du gir til en dybdelæringsmodell, jo bedre blir det til å utføre oppgaven sin.

I følge OpenAI har GPT-2 blitt trent på 8 millioner nettsider og milliarder av ord, noe som er mye mer enn andre, lignende modeller. Den bruker også avanserte AI-modeller for å anvende tekstmønstre bedre. Prøveutgang fra GPT-2 viser at modellen klarer å opprettholde sammenheng i lengre tekstsekvenser enn forgjengerne.

Men mens GPT-2 er et skritt fremover innen naturspråkgenerering, er det ikke et teknologisk gjennombrudd mot å skape AI som kan forstå betydningen og konteksten til skrevet tekst. GPT-2 bruker fremdeles algoritmer for å lage ordsekvenser som er statistisk lik de milliardene tekstutdrag det tidligere har sett - det har absolutt ingen forståelse for hva det genererer.

I en dybdeanalyse peker ZDNets Tiernan Ray på flere tilfeller der GPT-2s utvalgsprøver forråder deres kunstige natur med velkjente gjenstander som duplisering av vilkår og mangel på logikk og konsistens i fakta. "Når GPT-2 går videre for å takle skriving som krever mer utvikling av ideer og av logikk, sprekker sprekkene åpent ganske bredt, " bemerker Ray.

Statistisk læring kan hjelpe datamaskiner med å generere tekst som er grammatisk korrekt, men en dypere konseptuell forståelse er nødvendig for å opprettholde logisk og saklig konsistens. Dessverre er det fortsatt en utfordring som nåværende blandinger av AI ikke har overvunnet. Det er grunnen til at GPT-2 kan generere fine avsnitt med tekst, men sannsynligvis vil være hardt presset for å generere en autentisk longform-artikkel eller etterligne noen på en overbevisende måte og over en lengre periode.

Hvorfor AI Fake-News Panic er overdrevet

Et annet problem med OpenAIs resonnement: Det forutsetter at AI kan skape en falsk-nyhetskrise.

I 2016 spredte en gruppe makedonske tenåringer falske nyheter om det amerikanske presidentvalget til millioner av mennesker. Ironisk nok hadde de ikke ordentlig engelskferdigheter; de fant historiene sine på nettet og sy sammen forskjellig innhold sammen. De var vellykkede fordi de skapte nettsteder som så autentiske ut til å overbevise besøkende til å stole på dem som pålitelige nyhetskilder. Oppsiktsvekkende overskrifter, uaktsomme brukere av sosiale medier og trendalgoritmer gjorde resten.

Da i 2017 utløste ondsinnede aktører en diplomatisk krise i den persiske golf-regionen ved å hacking Qatari-statlige nyhetsnettsteder og regjeringers sosiale mediekontoer og publisere falske kommentarer på vegne av Sheikh Tamim bin Hamad Al Thani, Emiren i Qatar.

Som disse historiene viser, henger suksessen med falske nyhetskampanjer på å etablere (og forråde) tillit, ikke på å generere store mengder sammenhengende engelsk tekst.

OpenAIs advarsler om å automatisere produksjonen av falske innhold for å legge ut på sosiale medier er imidlertid mer berettiget, fordi omfang og volum spiller en viktigere rolle i sosiale nettverk enn de gjør i tradisjonelle medier. Antagelsen er at en AI som GPT-2 vil være i stand til å oversvømme sosiale medier med millioner av unike innlegg om et spesifikt tema, og påvirke trendalgoritmer og offentlige diskusjoner.

Men fremdeles kommer advarslene til kort fra virkeligheten. I løpet av de siste årene har selskaper i sosiale medier kontinuerlig utviklet muligheter for å oppdage og blokkere automatisert atferd. Så en ondsinnet skuespiller bevæpnet med en tekstgenererende AI måtte overvinne en rekke utfordringer utover å skape unikt innhold.

For eksempel vil de trenge tusenvis av falske sosiale mediekontoer for å legge ut AI-generert innhold. Enda tøffere, for å sikre at det ikke er noen måte å koble sammen falske kontoer, trenger de en unik enhet og IP-adresse for hver konto.

Det blir verre: Regnskapet må opprettes til forskjellige tidspunkter, muligens over et år eller lenger, for å redusere likhetene. I fjor viste en New York Times- undersøkelse at datoer for kontoopprettelse alene kunne bidra til å oppdage botkontoer. For å ytterligere skjule deres automatiserte karakter for andre brukere og algoritmer for politiarbeid, må kontoene delta i menneskelignende oppførsel, for eksempel å samhandle med andre brukere og sette en unik tone i innleggene deres.

Ingen av disse utfordringene er umulige å få bukt med, men de viser at innhold bare er en del av innsatsen som trengs for å gjennomføre i en falsk-nyhetskampanje i sosiale medier. Og igjen spiller tillit en viktig rolle. Noen få pålitelige påvirkere fra sosiale medier som setter opp noen falske nyhetsinnlegg vil ha større innvirkning enn en haug med ukjente kontoer som genererer store mengder innhold.

Til forsvar for OpenAIs advarsler

OpenAIs overdrevne advarsler utløste en syklus med mediehype og panikk som ironisk nok grenser til falske nyheter i seg selv, noe som førte til kritikk fra anerkjente AI-eksperter.

De inviterte mediefolk til å få tidlig tilgang til resultatene, med en pressembargo slik at det hele ble offentliggjort samme dag. Ingen forskere som jeg kjenner til fikk se den store modellen, men journalister gjorde det. Ja, de sprengte det med vilje.

- Matt Gardner (@nlpmattg) 19. februar 2019

Hvert nytt menneske kan potensielt brukes til å generere falske nyheter, spre konspirasjonsteorier og påvirke mennesker.

Bør vi slutte å lage babyer da?

- Yann LeCun (@ylecun) 19. februar 2019

Ville bare gi dere alle hodet på hodet, laboratoriet vårt fant et fantastisk gjennombrudd i språkforståelsen. men vi bekymrer oss også for at det kan falle i gale hender. så vi bestemte oss for å skrap det og bare publisere de vanlige * ACL-tingene i stedet. Stor respekt for teamet for deres gode arbeid.

- (((? () (? () 'Yoav)))) (@yoavgo) 15. februar 2019

Zachary Lipton, AI-forsker og redaktør for Approximate Correct, pekte på OpenAIs historie om "å bruke bloggen sin og overdimensjonere oppmerksomhet på umodent katapult arbeid i det offentlige synspunkt, og ofte spille opp de menneskelige sikkerhetsaspektene ved arbeid som ennå ikke har intellektuell ben å stå på."

Selv om OpenAI fortjener all kritikk og hete den fikk i kjølvannet av de villedende kommentarene, er det også riktig å være oppriktig bekymret for mulig ondsinnet bruk av teknologien, selv om selskapet brukte en uansvarlig måte å utdanne publikum om.

• AI-bransjens år for etisk regnering AI-bransjens år for etisk regning
• Urettferdig fordel: Ikke forvent at AI skal spille som et menneske Urettferdig fordel: Ikke forvent at AI skal spille som et menneske
• Denne AI forutsier trolling på nettet før det skjer. AI spår trolling online før det skjer

I løpet av de siste årene har vi sett hvordan AI-teknologier som blir offentliggjort uten tanker og refleksjon kan våpenvåpen for ondsinnede formål. Et eksempel var FakeApp, et AI-program som kan bytte ansikter i videoer. Rett etter at FakeApp ble utgitt, ble den brukt til å lage falske pornografiske videoer som inneholdt kjendiser og politikere, noe som skapte bekymring for trusselen om forfalskning fra AI.

OpenAIs avgjørelse viser at vi må ta en pause og tenke på de mulige konsekvensene av offentlig utgivelse av teknologi. Og vi må ha mer aktive diskusjoner om risikoen ved AI-teknologier.

"En organisasjon som tar et bestemt prosjekt på pause vil ikke virkelig endre noe på lang sikt. Men OpenAI får mye oppmerksomhet for alt de gjør… og jeg tror de bør applauderes for å rette søkelyset på dette problemet, " David Bau, en forsker ved MITs datavitenskap og kunstig intelligenslaboratorium (CSAIL), fortalte Slate.