De spennende implikasjonene av vårt store år med store data

2013 skulle være Big Data-året, og det er liten tvil om presset for nye måter å lagre det på, nye skjemaer for å håndtere det og nye verktøy for å analysere det forblir et sentralt fokus for mange, om ikke de fleste bedrifter. Men det som overrasket meg i år var hvor mye oppmerksomhet som nå går på å sikre data, og personvernkonsekvensene av å samle all den informasjonen i utgangspunktet.

Det er ingen hemmelighet at mye av teknologien bak såkalte "big data" -prosjekter opprinnelig kom fra de største webselskapene som Google, Yahoo, Amazon og Facebook. De tror - og har en god del bevis for å sikkerhetskopiere dette - at ved å vite mer om deg, kan de komme med bedre produktanbefalinger og dermed få deg til å kjøpe flere ting fra dem. Tross alt er den implisitte forhandlingen på nettet, nesten fra utseendet til den moderne nettleseren, at du får informasjon gratis i bytte mot målrettet annonsering. Faktisk kommer i dag noen av de største fremskrittene innen datateknologi fra disse store nettstedene og reklame- og markedsføringsselskapene som støtter dem.

Det siste året har vi hørt mye mer om hvordan big data påvirker flere bransjer. Noen selskaper, for eksempel GE, har vært veldig sprek med å distribuere sensorer på enheter som samler inn data for å gjøre ting som å forutsi sviktfrekvens. Andre selskaper som IBM snakker om å bruke data for å hjelpe enkeltpersoner med å gjøre spådommer, for eksempel å diagnostisere potensielle sykdommer. Jeg er fortsatt veldig optimistisk når det gjelder potensialet for slike teknologier, selv om jeg tror at mange, om ikke de fleste, store dataprosjekter ikke klarer å gi avkastningen som produsentene håper på.

Men det var ikke der fokuset på big data gikk i år. Snarere var det avsløringer om omfanget av datainnsamling fra offentlige etater - særlig NSA - som genererte de største overskriftene, inkludert innsetting av skadelig programvare og andre angrep på kritiske datakilder, fra historier om kinesisk hacking til det siste hacket av kredittkort på Target. Historiene om skadelig programvare har ført til økt bruk av innbruddsforebyggende systemer og neste generasjons brannmurer, selv om vi alle vet at intet system er idiotsikkert. NSA-lekkasjene har gjort folk i andre land mye mer skeptiske til å lagre data hos amerikanske firmaer, og presset fører nå til at de store skyleverandørene legger til mer kryptering, selv mellom deres interne servere. Alle innfører nå flere sikkerhetssystemer, igjen, selv om vi alle vet at intet system er perfekt og at "sosialteknikk" nesten ikke er mulig å forhindre.

Vi ser nå mer fokus på personvern, enten det er fra myndigheters snoops eller selskaper som samler inn data. Så langt har det ikke blitt mer regulering, men nye regler og retningslinjer vil garantert være et fokus i 2014. En bekymring for de store amerikanske selskapene er at dette kan føre til at lover som tvinger internettleverandører til å beholde brukernes data i landet av brukeren, eller i det minste den politiske interessen, som å oppbevare alle brasilianske data i Brasil, eller alle tyske data i Europa. Dette kan resultere i flere nasjonale tjenester (som de mange kinesiske tjenestene som har trivdes, delvis fordi amerikanske selskaper ikke opererer der) eller i det minste et krav om flere lokale datasentre. Frykten er at dette kan føre til en økende balkanisering av Internett.

Imens har vi imidlertid sett en økning i applikasjoner designet slik at brukere lagrer og beholder mindre data, ikke mer, for eksempel Snapchat. For første gang virker det som om typiske brukere tenker på hvilke data som blir fanget, hvor og hvor lenge de er lagret. Noe som kan vise seg å ha en enda større innvirkning på data.