Teknologien bak nsa's xkeyscore

Hvis du fokuserer et øyeblikk på teknologien bak XKeyscore - det påståtte regjeringsprogrammet som brukes av NSA for å motvirke terrorister - snarere enn politikken, er det faktisk ganske forvirrende. Noen rapporter anslår at XKeyscore-programmet kan håndtere så mange som 41 milliarder poster.

I hjertet av XKeyscore er to store teknologitrender: Big Data og Data Analytics. Og det er ikke bare myndigheter som ivrig omfavner denne typen teknologi. Informasjon er den hotteste varen det er. Her er en titt på hva som kan være under panseret så langt som teknisk spesifikasjoner med et program som XKeyscore, basert på hva selskaper som samler inn og analyserer de samme store datasettene bruker og kommentarer fra leverandører som hjelper disse selskapene til å flytte disse dataene.

Forbløffende teknologi

Big Data refererer til å samle datasett så store at dedikert teknologi er nødvendig for å sile gjennom, analysere og rapportere mot den informasjonen. Data Analytics er i et nøtteskall prosessen med å dele opp denne informasjonen i pene rom, slik at den kan granskes nærmere.

Hvor brukes denne enorme datainnsamlingen og analysen i stor grad? I privat næring. Melissa Kolodziej, direktør for markedskommunikasjon hos Attunity, et løsningsfirma som hjelper bedrifter med å få tilgang til og flytte store datamengder, sa at i detaljhandelen vil selskaper ta og "sette sammen enorme mengder data" for å analysere en kundes vaner for detaljer som er spesifikke som å se "hvis denne personen nettopp kjøpte sjampo, slik at de kan tilby kunden en beslektet kupong på mobiltelefonen sin mens de fremdeles er i butikken." Kolodziej sa at selskaper ønsker og kan ha "nær sanntidsfunksjoner" når det gjelder å analysere disse store datasettene og ønske å kaste ut informasjon så raskt som mulig.

Overveiende tekniske spesifikasjoner

Det er ingen reelle detaljer tilgjengelig om den spesifikke teknologien som kan brukes med XKeyscore, bortsett fra det faktum at det involverer 700 Linux-servere som ligger globalt. Men det er mulig å anse hvilken type maskinvare som er nødvendig for å samle og administrere disse store datasettene. Det er bare noen få leverandører som lager de maskinene som kan håndtere så utrolig prosessorkraft: Oracle, HP, IBM og EMC er de som kommer mest inn på.

Selvfølgelig er det ikke bare merkevaren av datasenterjern som gjør det mulig å samle inn og analysere enorme datamengder.

"Teknologiske nyvinninger innen maskinvare (minnekapasitet og hastighet, multicore, multiCPU-er) og programvare (søyle databaser, grupperte filsystemer og så videre) har gjort det mulig å 'lagre' nesten ubegrensede datamengder, " ifølge Byron Banks, visepresident president for database & teknologi i SAP.

Parallell prosessering, fremskritt innen rå datakraft, samt stor lagringskapasitet til relativt lave kostnader, har alle gjort denne typen data mining lettere for myndigheter, bedrifter og til og med mellomstore bedrifter. Lawrence Schwartz, visepresident for markedsføring, Attunity, sa at datavarehusene i dag, "generelt er bygget for å støtte terabyte med data."

At det er så mange datakilder, alt sammen så sammenflettet, har også bidratt til å analysere og samle store datasett så lokkende for industrien. "Jeg tror folk alltid har ønsket å finne ut hva de skulle gjøre med data. I løpet av det siste tiåret er det så mange informasjonskilder, det er så mye mer nå som er sammenkoblet. Vi hadde ikke år siden… så mye datakraft, at det nå er muligheter, "sa Schwartz.

Langvarige utfordringer og åpenbar kontrovers

Mens teknologien fortsetter hurtig fremskritt i å støtte Big Data og analysere slike data, gjenstår fortsatt utfordringer.

Ofte samler enheter inn mer data enn de kan håndtere, ifølge Schwartz. Det er også "en enorm mangel på dataforskere" tilgjengelig for å gi mening om disse innsamlede dataene.

"Utfordringen med mange eksisterende løsninger og teknikker er at de ikke er i stand til å forstå og identifisere hvilken nyttig informasjon som finnes i disse massive bassengene til 0-er og 1-er, og deretter analysere og gjøre bruk av den på en betimelig og kostnadseffektiv måte. Hos SAP, vi er fokusert på innovasjoner som tar kompleksitet ut av IT-landskapet og forbedrer hastigheten og fleksibiliteten som 'data' kan gjøres om til nyttig 'informasjon' og leveres til sluttbruker eller applikasjon, "sa SAPs Banks.

Så er det sikkerhetsproblemene. "På grunn av mengden av dataselskaper og forbrukere som fortsetter å presse og lagre i skyene, bør offentligheten være bekymret for informasjonssikkerhetspraksis for selskapene som skyene har vår personlige informasjon, " sa Paige Leidig, senior vice president i CipherCloud. Mens PRISM sitter og overvåker informasjon som strømmer over spesifikke skyer, følger XKeyscore aktivt en gitt person på Internett fra nettsteder som er besøkt for e-post som blir utvekslet til innlegg i sosiale medier. I begge tilfeller ser og ser noen på og samler personlig identifiserbare data uten dataeiers samtykke - og det er personvernproblemet selv om motivasjonen er nasjonal sikkerhet for publikums velferd."

Fortsatt, ifølge Leidig, om noe, disse internettovervåkningsprogrammene, "fremhever vår vår avhengighet av sky på bedrifts- og forbrukernivå." For så vidt det er å sikre data, eller forhindre datatyveri fra hackere, eller innen IT-personer, anbefaler Leidig at "en bedre tilnærming er å aktivere skyen (og morderen-appene som bedriften trenger og forbrukere elsker) ved å bruke uknuselig kryptering for å kryptere data til gibberish. På denne måten kan uautoriserte brukere - enten det er et etterretningsbyrå eller en cybertyv - ikke benytte seg av dataene. Som et ekstra mål på kontrollen, kan bedriftene - ikke nettskyleverandører - holde krypterings- / dekrypteringsnøklene.

I tilfelle av en informasjonsforespørsel (NSA-brevene vi har hørt så mye om), vil bedriften bli varslet og kan samarbeide med myndighetene direkte i stedet for å bli forbigått og i mørket at tilgang til kundedata blir gitt uten samtykke. Det er modellen der skyleverandøren holder nøklene, overleverer dataene og forhindres ved lov i å avsløre forespørselen om informasjon til foretaket."

Det er klart at den store diskusjonen nå i offentligheten bare er fordi teknologien er der for å samle og analysere enorme data, gir dette lisenser til myndighetene og virksomhetene til å bruke slik teknologi på innbyggere og kunder? Det er en debatt som garantert vil fortsette ganske lenge.

For mer, sjekk ut Xkeyscore Ser ikke på deg, det er NSAs Google for avlyttede data.