Computational photography er klar for nærbildet

Mer enn 87 millioner amerikanere reiste internasjonalt i 2017, et rekordmange antall ifølge US National Travel and Tourism Office. Hvis du var blant dem, besøkte du kanskje et reisemål som Stonehenge, Taj Mahal, Ha Long Bay eller Kinas mur. Og du har kanskje brukt telefonen din til å skyte et panorama, kanskje til og med snurret deg selv hele veien rundt med telefonen din for å skyte en superbred 360-graders utsikt over landskapet.

Hvis du var vellykket - noe som betyr at det ikke var noen feiljusterte seksjoner, vignettering eller fargeskift - så opplevde du et enkelt, men effektivt eksempel på beregningsfotografering. Men de siste årene har beregningsfotografering utvidet seg utover så trange bruksområder. Det kan ikke bare gi oss et annet perspektiv på fotografering, men også endre hvordan vi ser på vår verden.

Hva er beregningsfotografering?

Marc Levoy, professor i informatikk (emeritus) ved Stanford University, hovedingeniør ved Google, og en av pionerene i dette nye feltet, har definert beregningsfotografering som en rekke "beregningsbildeteknikker som forbedrer eller utvider mulighetene til digital fotografering output er et vanlig fotografi, men et som ikke kunne blitt tatt av et tradisjonelt kamera."

Ifølge Josh Haftel, hovedproduksjonssjef i Adobe, legger beregningselementer til tradisjonell fotografering mulighet for nye muligheter, spesielt for bildebehandlings- og programvareselskaper: "Slik jeg ser beregningsfotografering er at det gir oss en mulighet til å gjøre to ting. En av dem er å prøve å kaste opp mye av de fysiske begrensningene som finnes i mobilkameraer."

Å få en smarttelefon til å simulere grunne dybdeskarphet (DOF) - et kjennetegn på et profesjonelt bilde, siden det visuelt skiller motivet fra bakgrunnen - er et godt eksempel. Det som forhindrer et kamera på en veldig tynn enhet, som en telefon, fra å kunne ta et bilde med en grunt DOF er fysikkens lover.

"Du kan ikke ha det grunt dybdeskarphet med en veldig liten sensor, "sier Haftel. Men en stor sensor krever et stort objektiv. Og siden de fleste ønsker at telefonene deres skal være ultratiske, er ikke en stor sensor sammenkoblet med et stort, voluminøst objektiv., telefoner er bygget med små prime linser og bittesmå sensorer, og produserer en stor dybdeskarphet som gjør alle fag nær og langt i skarpt fokus.

Haftel sier at produsenter av smarttelefoner og enkle kameraer kan kompensere for dette ved å bruke beregningsfotografering for å "jukse ved å simulere effekten på måter som lurer øyet." Følgelig blir algoritmer brukt til å bestemme hva som anses som bakgrunnen og hva som anses som et forgrunnsemne. Deretter simulerer kameraet en grunt DOF ved å uskarpe bakgrunnen.

Den andre måten Haftel sier beregningsfotografering kan brukes på, er å bruke nye prosesser og teknikker for å hjelpe fotografer å gjøre ting som ikke er mulig å bruke tradisjonelle verktøy. Haftel peker på HDR (høyt dynamisk område) som eksempel.

"HDR er muligheten til å ta flere bilder samtidig eller i rask rekkefølge, og deretter slå dem sammen for å overvinne begrensningene i sensorens naturlige evne." I virkeligheten kan HDR, spesielt på mobile enheter, utvide tonevirksomheten utover hva bildesensoren kan fange naturlig, slik at du kan fange flere detaljer i de lyseste høydepunktene og de mørkeste skyggene.

Når Computational Photography faller kort

Ikke alle implementeringer av beregningsfotografering har vært vellykkede. To dristige forsøk var Lytro- og Light L16-kameraene: I stedet for å blande tradisjonelle og beregningsmessige fotofunksjoner (som iPhones, Android-telefoner og noen frittstående kameraer gjør), forsøkte Lytro og Light L16 å fokusere utelukkende på beregningsfotografering.

Den første som traff markedet var Lytro lysfeltkamera, i 2012, som lar deg justere et fotofokus etter at du har tatt bildet. Det gjorde dette ved å registrere retningen på lyset som kommer inn i kameraet, noe tradisjonelle kameraer ikke gjør. Teknologien var spennende, men kameraet hadde problemer, inkludert lav oppløsning og et vanskelig å bruke grensesnitt.

Den hadde også en ganske smal brukssak. Som Dave Etchells, grunnlegger, utgiver og sjefredaktør for Imaging Resource påpeker: "Selv om det å være i stand til å fokusere etter at faktum var en kul funksjon, var kameraets blenderåpning så liten, at du ikke virkelig kunne skille avstander med mindre det var noe veldig nær kameraet."

Si for eksempel at du skyter en baseballspiller på en lokal baseball diamant. Du kan ta et bilde nært gjerdet og også fange spilleren gjennom gjerdet, selv om han er langt borte. Da endrer du enkelt fokus fra gjerdet til spilleren. Men som Etchells påpeker: "Hvor ofte tar du egentlig et bilde slik?"

En nyere enhet som hadde som mål å være et frittstående beregningskamera, var Light L16, et forsøk på å produsere et tynt, bærbart kamera med bildekvalitet og ytelse på nivå med et high-end D-SLR eller speilløst kamera. L16 ble designet med 16 forskjellige objektiv- og sensormoduler i en enkelt kamerahus. Kraftig ombordprogramvare vil konstruere ett bilde fra de forskjellige modulene.

Etchells var opprinnelig imponert over konseptet med Light L16. Men som et faktisk produkt, sa han, "det hadde en rekke problemer."

For eksempel, Lys, kameraet og fotograferingsselskap som lager Light L16, hevdet at dataene fra alle de små sensorene ville være ekvivalent med å ha en stor sensor. "De hevdet også at det kom til å være D-SLR-kvalitet, " sier Etchells. Men i felttestene fant Imaging Resource at dette ikke var tilfelle.

Det var andre problemer, inkludert at visse områder på bildet hadde overdreven støy, "selv i lyse områder av bildet… Og det var praktisk talt ikke noe dynamisk område: Skyggene bare plugget opp umiddelbart, " sier Etchells, noe som betyr at deler av bilder - inkludert eksempler på bilder selskapet brukte for å markedsføre kameraet - var det knapt noen detaljer i skyggene.

"Det var også bare en katastrofe i lite lys, " sier Etchells. "Det var bare ikke et veldig bra kamera, periode."

Hva blir det neste?

Til tross for disse manglene, smir mange selskaper fremover med nye implementeringer av beregningsfotografering. I noen tilfeller slører de grensen mellom det som anses som fotografering og andre typer medier, for eksempel video og VR (virtual reality).

For eksempel vil Google utvide Google Photos-appen ved å bruke AI (kunstig intelligens) for nye funksjoner, inkludert fargelegging av svart-hvitt-bilder. Microsoft bruker AI i Pix-appen sin for iOS slik at brukere sømløst kan legge til visittkort til LinkedIn. Facebook vil snart rulle ut en 3D Photos-funksjon, som "er en ny medietype som lar folk fange 3D-øyeblikk i tid ved hjelp av en smarttelefon for å dele på Facebook." Og i Adobes Lightroom-app kan fotografer av mobilenheter bruke HDR-funksjoner og ta bilder i RAW-filformatet.

VR og Computational Photography

Mens mobile enheter og til og med frittstående kameraer bruker beregningsfotografering på spennende måter, til og med mer kraftige brukssaker kommer fra verden av utvidede virkelighetsplattformer, for eksempel VR og AR (augmented reality). For James George, administrerende direktør og medgründer av Scatter, et oppslukende mediestudio i New York, beregningsfotografering er å åpne for nye måter for kunstnere å uttrykke sine visjoner.

"På Scatter ser vi beregningsfotografering som kjernen som muliggjør teknologi for nye kreative fagdisipliner som vi prøver å pionere. Å legge til beregning kan da begynne å syntetisere og simulere noen av de samme tingene som øynene våre gjør med bildene som vi se i hjernen vår, "sier George.

I hovedsak kommer det ned på intelligens. Vi bruker hjernen vår til å tenke på og forstå bildene vi oppfatter.

"Datamaskiner begynner å kunne se ut i verden og se ting og forstå hva de er på samme måte som vi kan, " sier George. Så beregningsfotografering er "et ekstra lag med syntese og intelligens som går utover bare den rene fotograferingen av et foto, men faktisk begynner å simulere den menneskelige opplevelsen av å oppfatte noe."

Måten Scatter bruker beregningsfotografering kalles volumetrisk fotografering, som er en metode for å registrere et motiv fra forskjellige synsvinkler og deretter bruke programvare til å analysere og gjenskape alle disse synspunktene i en tredimensjonal representasjon. (Både bilder og video kan være volumetriske og vises som 3D-lignende hologrammer du kan bevege deg rundt i en VR- eller AR-opplevelse.) "Jeg er spesielt interessert i evnen til å rekonstruere ting på mer enn bare på en todimensjonal måte, "sier George. "I minnet vårt, hvis vi går gjennom et rom , kan vi faktisk huske romlig der ting var i forhold til hverandre."

George sier at Scatter er i stand til å trekke ut og skape en representasjon av et rom som "er fullstendig og fritt navigerbart, på den måten du kanskje kan bevege deg gjennom det som et videospill eller et hologram. Det er et nytt medium som er født ut av skjæringspunktet mellom videospill og filmskaping som beregningsfotografering og volumetrisk filmskaping muliggjør."

For å hjelpe andre med å produsere volumetriske VR-beskyttelser, har Scatter utviklet DepthKit, et programvare som lar filmskapere dra nytte av dybdesensoren fra kameraer som Microsoft Kinect som tilbehør til et HD-videokamera. Dermed produserer DepthKit, en CGI- og videoprogramvare-hybrid, naturtro 3D-former "egnet for sanntidsavspilling i virtuelle verdener, " sier George.

Scatter har produsert flere kraftige VR-opplevelser med DepthKit ved bruk av beregningsfotografering og volumetriske filmskapingsteknikker. I 2014 samarbeidet George med Jonathan Minard for å lage "Clouds", en dokumentar som utforsket kodekunsten som inkluderte en interaktiv komponent. I 2017 produserte Scatter en VR-tilpasning basert på filmen Zero Days , og brukte VR for å gi publikum et unikt perspektiv i den usynlige verden av cyber warfare - for å se ting fra perspektivet til Stuxnet-viruset.

Et av de kraftigste DepthKit-relaterte prosjektene er "Terminal 3", en utvidet reality-opplevelse av den pakistanske artisten Asad J. Malik, som hadde premiere tidligere i år på filmfestivalen TriBeCa. Opplevelsen lar deg praktisk talt tråkke i skoene til en amerikansk grensepatruljeansvarlig via en Microsoft HoloLens og avhøre et spøkelseslignende 3D-volumetrisk hologram av noen som ser ut til å være en muslim (det er seks karakterer som du kan intervjue).

"Asad er en pakistansk innfødt som emigrerte til USA for å gå på college og hadde noen ganske negative opplevelser som ble forhørt om hans bakgrunn og hvorfor han var der. Sjokkert av den erfaringen opprettet han 'Terminal 3', " sier George.

En av nøklene til det som gjør opplevelsen så overbevisende, er at Maliks team på 1RIC, hans utvidede realitystudio, brukte DepthKit for å gjøre video om til volumetriske hologrammer, som deretter kan importeres til sanntids videospillmotorer som Unity, eller 3D grafikkverktøy som Maya og Cinema 4D. Ved å legge til dybdesensordata fra Kinect til D-SLR-videoen for å plassere hologrammet inne i det virtuelle AR-området, gjør DepthKit-programvaren videoen til beregnings video. Et svart-hvitt sjakkbrett brukes til å kalibrere D-SLR og Kinect sammen, da kan begge kameraene brukes samtidig for å ta volumetriske bilder og video.

• 10 raske tips for å fikse dårlige bilder 10 raske tips for å fikse dårlige bilder
• 10 tips om digital fotografering utover 10 tips om digital fotografering utover
• 10 enkle tips og triks for bedre smarttelefonfoto 10 enkle tips og triks for bedre smarttelefonfoto

Siden disse AR-opplevelsene opprettet med DepthKit ligner på hvordan videospill fungerer, kan en opplevelse som "Terminal 3" gi kraftige interaktive effekter. For eksempel sier George at Malik lar hologrammene endre form mens du forhører dem: Hvis spørsmålene under avhøret blir anklagende, demologiserer hologrammet seg og virker mindre menneskelig. "Men når du begynner å påkalle personens biografi, deres egne opplevelser og verdiene deres, " sier George, "begynner hologrammet faktisk å fylles ut og bli mer fotorealistisk."

Når du skaper denne subtile effekten, sier han, kan du reflektere over oppfatningen til forhørsmannen og hvordan de kan se en person "som bare et emblem i stedet for en faktisk person med en ekte identitet og unikhet." På en måte kan det gi brukerne et større forståelsesnivå. "Gjennom en serie med spørsmål, der du får stille et eller annet spørsmål, " sier George, "blir du konfrontert med dine egne skjevheter, og samtidig denne individuelle historien."

Som de fleste nye teknologier, opplever beregningsfotografering sin del av både suksesser og feil. Dette betyr at noen viktige funksjoner eller hele teknologier kan ha kort holdbarhet. Ta Lytro: I 2017, rett før Google kjøpte selskapet, skoddet Lytro bilder.lytro.com, slik at du ikke lenger kunne legge ut bilder på nettsteder eller sosiale medier. For de som savner det, har Panasonic en Lytro-lignende fokuseringsfunksjon kalt Post Focus, som den har inkludert i forskjellige high-end speilløse kameraer og pek-og-skudd.

Beregningsfotograferingsverktøyene og funksjonene vi har sett så langt er bare start . Jeg tror disse verktøyene vil bli mye kraftigere, dynamiske og intuitive etter hvert som mobile enheter er designet med nyere, mer allsidige kameraer og linser, kraftigere prosessorer ombord og mer ekspansive mobilnettverksmuligheter. I løpet av en veldig nær fremtid kan du begynne å se beregningsfotograferingens sanne farger.