Eksperter smeller imperva-antivirusstudie

Sikkerhetsselskapet Imperva la ut en dyster studie forrige måned som antydet at dyre sikkerhetssuiter kanskje ikke er verdt prislappen, og at alle antivirusprogrammer lider av store blinde flekker. Undergangs-og-dysterhetsforskning som dette krever alltid et heftig saltkorn, men etter å ha snakket med flere bransjeeksperter kan det hende at det er nødvendig med en hel shaker.

Imperva så på en rekke sikkerhetsløsninger fra leverandører som Kaspersky, Avast, AVG, Microsoft og McAfee, for å nevne noen. De puttet disse vaktpostene mot 82 tilfeldig innsamlede malware-prøver, og undersøkte hvor vellykket sikkerhetsprogramvaren var med å oppdage den useriøse programvaren.

Fra arbeidet deres hevder Imperva at programvare mot malware ikke er rask eller responsiv nok til å bekjempe moderne trusler. Sikkerhetsprogramvare, skriver Imperva, er "mye bedre til å oppdage skadelig programvare som sprer seg raskt i store mengder identiske prøver, mens varianter som er av begrenset distribusjon (for eksempel angrep fra myndighetene, vanligvis lar et stort vindu med muligheter."

De fant heller ingen sammenheng mellom pengene brukerne bruker på virusbeskyttelse og sikkerheten som leveres av programvare, og antyder at både individuelle og bedriftskunder ser på freeware-alternativer.

Independent Labs skyver tilbake

Studien har fått mye oppmerksomhet, men når de snakker med sikkerhetsfagfolk, og noen av selskapene som er nevnt i studien, fant Security Watch mange som mener studien var dypt mangelfull.

Omtrent hver lab eller sikkerhetsselskap følte at Impervas utvalg av skadelig programvare var for liten til å støtte konklusjonene som ble gjort av studien. AV-Tests Andreas Marx fortalte at firmaet hans mottar omtrent en million prøver med ny, unik malware per uke. På samme måte fortalte Peter Stelzhammer fra AV-Comparatives at de mottar 142.000 nye ondsinnede filer hver dag.

På sin side skrev Imperva i studien at de med vilje brukte en liten prøvetaking, men insisterer på at det er et bevis på eksisterende trusler. "Utvalget av skadelig programvare var ikke partisk, men ble tilfeldig hentet fra nettet, noe som gjenspeiler en potensiell metode for å konstruere et angrep, " skriver Imperva.

NSS Labs forskningssjef Randy Abrams hadde imidlertid en skarp annen tolkning av Impervas metodikk. "Søking etter filnavn vil garantert gå glipp av sofistikerte angrep og de fleste andre skadelige programvarer også, " sa Abrams til Security Watch, og kommenterte midlene Imperva brukte til å lokalisere skadelig programvare for studien. "Å fokusere på russiske fora biases prøvesamlingen betydelig. Det er åpenbart at ingen tanker gikk inn på å skaffe et reelt, representativt prøvesett."

Problemer med metodikk

For å gjennomføre undersøkelsen deres brukte Imperva det elektroniske verktøyet VirusTotal for å utføre testene sine som ble sitert som en kritisk svakhet ved testen. "Problemet med denne testen er at den dratt trusler, i form av kjørbare filer, og deretter skannet de som bruker VirusTotal, " sa Simon Edwards fra Dennis Labs. "VT er ikke et passende system å bruke når du evaluerer anti-malware-produkter, i stor grad fordi skannerne som brukes i VT, ikke støttes av tilleggsteknologi som web-omdømmesystemer."

Kaspersky Labs, hvis produkt ble brukt i studien, stilte også spørsmål ved testmetodikken brukt av Imperva i eksperimentet. "Når du skanner etter potensielt farlige filer, bruker ikke VirusTotal-tjenesten som brukes av Impervas spesialister de fullstendige versjonene av antivirusprodukter, men er bare avhengig av en frittstående skanner, " skrev Kaspersky Labs i en uttalelse gitt til Security Watch.

"Denne tilnærmingen betyr at de fleste beskyttelsesteknologiene som er tilgjengelige i moderne antivirusprogramvare ganske enkelt blir ignorert. Dette påvirker også proaktive teknologier designet for å oppdage nye, ukjente trusler."

Spesielt fraråder en del av VirusTotals nettsted å bruke tjenesten sin i antivirusanalyse. Selskapets 'Om' -avdeling lyder, 'vi er lei av å gjenta at tjenesten ikke var designet som et verktøy for å utføre antivirus-komparative analyser. De som bruker VirusTotal for å utføre antivirus-komparative analyser, bør vite at de gjør mange implisitte feil i metodikken sin."

Abrams hadde også et lite syn på å bruke VirusTotal til å utføre studien, og sa at verktøyet kan brukes til å skjule resultater mot de ønskede av testere. "Kompetente, erfarne testere vet bedre enn å bruke VirusTotal for å vurdere beskyttelsesevnen til noe annet enn en ren kommandolinjescanner, " sa han.

Imperva forsvarte bruken av VirusTotal i studien. "Essensen i rapporten er ikke en sammenligning av antivirusprodukter, " skriver Imperva. Snarere er formålet å måle effektiviteten av en enkelt antivirusløsning så vel som kombinerte antivirusløsninger gitt et tilfeldig sett med malware-prøver."

Mens ekspertene vi snakket med, var enige om at sårbarheter på null dager og nyopprettet malware er et problem, støttet ingen Impervas påstander om timing eller lave deteksjonshastigheter. "De laveste beskyttelsesnivåene under en 'virkelighet' nulldagstest er 64-69 prosent, " sa Marx til Security Watch. "I gjennomsnitt så vi en beskyttelsesgrad på 88-90 prosent for alle testede produkter. Dette betyr at 9 av 10 angrep vil bli blokkert, bare 1 vil faktisk forårsake en infeksjon."

En annen sentral konklusjon av Imperva-rapporten var at programvare mot skadelig programvare er godt forstått av malware-skapere, som justerer kreasjonene sine for å undergrave beskyttelsessystemer. "Angripere forstår antivirusprodukter i dybden, blir kjent med sine svake punkter, identifiserer antivirusproduktets sterke poeng, og forstår deres metoder for å håndtere den høye forekomsten av ny virusutbredelse på Internett, " skriver Imperva i studien.

Studien fortsetter, "varianter som er av begrenset distribusjon (for eksempel angrep fra myndighetene) etterlater vanligvis et stort mulighetsvindu."

Stuxnet er ikke etter deg

"Malware-gutta er veldig tøffe, de er sterke og intelligente, " sa Stelzhammer. "Et målrettet angrep er alltid farlig." Men han og andre understreket at målrettede angrep der skadelig programvare er spesielt skreddersydd mot anti-malware er så sjelden som det er farlig.

Innsatsen og informasjonen som kreves for å lage et stykke malware for å beseire hvert lag med beskyttelse, er stor. "En slik test krever mye tid og ferdigheter, så de er ikke billige, " skrev Marx. "Men det er grunnen til at de kalles 'målrettet'."

På dette punktet sa Abrams, "Helt ærlig, jeg er virkelig ikke opptatt av at Stuxnet kommer inn på datamaskinen min og angriper en uranberikende sentrifuge hjemme hos meg eller på arbeidsgiverkontoret."

Nesten alle vi snakket med var enige, i hvert fall i prinsippet, om at gratis anti-malware-løsninger kan gi verdig beskyttelse for brukerne. De fleste var imidlertid uenige i at det var et levedyktig alternativ for bedriftskunder. Stelzhammer påpeker at selv om bedriftsbrukere ønsket å bruke gratis programvare, hindrer lisensavtalene noen ganger dem i å gjøre det.

- Det handler ikke alt om påvisning, sa Stelzhammer i et intervju med Security Watch. "Det handler om administrasjon, det handler om å rulle ut til klientene, det handler om oversikt. Du får ikke dette med et gratis produkt."

En informert bruker hjemme, fortsatte Stelzhammer, kunne bruke lag med gratis programvare for å gi beskyttelse sammenlignbar med betalt programvare, men på bekostning av enkelhet. "Han kan ordne et godt beskyttet system med gratis programvare, men den største fordelen med betalt programvare er bekvemmelighet."

Edwards fra Dennis Labs var imidlertid uenig i den gunstige sammenligningen med gratis programvare. "Dette er i strid med alle funnene våre over mange års testing, " sa Edwards. "De beste produktene betales nesten uten unntak." Disse funnene ligner PC Magazines test av programvare mot malware.

Siden publiseringen av studien forrige måned, har Imperva skrevet et blogginnlegg som forsvarer deres posisjon. I en tale med Security Watch sa Imperva-direktør for sikkerhetsstrategi Rob Rachwald: "Enhver kritikk som fokuserer på vår metodikk mangler den virkeligheten vi ser i dag." Han fortsatte med å si at de fleste datainnbrudd er et resultat av inntrenging av skadelig programvare, som selskapet ser som et bevis på at den nåværende anti-malware-modellen rett og slett ikke fungerer.

Selv om det kan være noen iboende sannhet for Impervas konklusjoner, så var det ingen av ekspertene vi snakket med, så studien positivt. "Typisk advarer jeg mot leverandørsponserte tester, men hvis denne testen hadde blitt utført av en uavhengig organisasjon, ville jeg advare mot organisasjonen selv, " skrev Abrams fra NSS Labs. "Det er sjelden jeg støter på en så utrolig usofistisk metodikk, uriktige prøveinnsamlingskriterier og usupporterte konklusjoner pakket inn i en enkelt PDF."

For mer fra Max, følg ham på Twitter @wmaxeddy.