Symantec erklærer antivirus-tester on-demand som villedende

I forrige uke lanserte det uavhengige antiviruslaboratoriet AV-Comparatives resultatene av en on-demand antivirusdeteksjonstest. At Microsoft kom nær bunnen var ikke store nyheter; det faktum at Symantec scoret enda lavere var overraskende. I et blogginnlegg som ble utgitt i dag, avkreftet Symantec hele praksisen med å utføre on-demand skanneprøver for malware, og kalte det "villedende."

I de første årene av antivirus-testing var hver test en on-demand skanningstest. Forskere ville sette sammen en samling kjent malware, kjøre en full skanning og registrere prosentandelen av prøvene som ble oppdaget. Moderne laboratorier jobber hardt for å utforme tester som nærmere reflekterer brukerens opplevelse i den virkelige verden, og tar hensyn til det faktum at de aller fleste infeksjoner kommer inn på datamaskinen fra Internett. Symantec hevder at bare den virkelige typen test er gyldig; Jeg er ikke helt enig.

Forkrøplet beskyttelse?

Alejandro Borgia, seniordirektør for produktstyring for Symantec Corporation, uttalte kategorisk i sitt blogginnlegg at "de siterte deteksjonshastighetene er misvisende og ikke representative for produktets virkning i den virkelige verden." Borgia sa: "Disse typene filskanningstester kjøres i kunstige miljøer som forkrøfter alle moderne beskyttelsesfunksjoner."

Det er sant at AV-Comparatives sørget for at testsystemene hadde Internett-tilgang, og dermed ga Symantec-installasjonen tilgang til det kraftige skybaserte Norton Insight-omdømmesystemet. Da jeg spurte Symantec-kontaktene mine om dette, forklarte de at Norton Insight for full styrke er avhengig av full informasjon, "hvordan filen ble oppnådd, når den ble innhentet eller hvor den ble innhentet (f.eks. URL og IP-adresse)." En skannertest på forespørsel på filer hvis ankomst Symantecs antivirus ikke observerte, er ikke den samme som når brukeren faktisk laster ned filer. Det er sant, men det er det samme som når en bruker installerer antivirus for å rydde opp i et eksisterende malware-problem.

Komponentene for forebygging av nettverksinntrenging fikk heller ingen sjanser til å hjelpe, siden filprøvene ble lastet ned før installasjon av antivirusprogramvare. Nok en gang ville du være i en lignende situasjon når du installerer antivirus for første gang på et infested system. Og selvfølgelig atferdsbasert deteksjon starter aldri før et program faktisk begynner å utføre.

Som svar på et spørsmål om atferdsbasert beskyttelse som tar handling bare etter at en ondsinnet fil er lansert, påpekte Symantec-kontaktene mine at "oppførsel" inkluderer mer enn handlinger som er gjort av programmet. "Atferdsteknologien vår tar hensyn til et programs beliggenhet, hvordan det er registrert på systemet (f.eks. Hvilke registernøkler som refererer til det), og mange andre faktorer, " forklarte de. "I de fleste tilfeller vil programmet bli stoppet før det forårsaker skade."

Er det villedende?

Når det gjelder påstanden om at testen er misvisende, er ikke AV-Comparatives enige. Innledningen til selve rapporten om at "fildeteksjonshastigheten til et produkt bare er ett aspekt, " og peker på "andre testrapporter som dekker forskjellige aspekter."

"Det er tydelig sagt at bare en funksjon av produktet er testet, " sier Peter Stelzhammer, medgründer av AV-Comparatives. "Hvis Symantec tenker at fildeteksjonsfunksjonen er verdiløs, hvorfor er den fortsatt inkludert i produktet?" Stelzhammer påpekte at fildeteksjon er nødvendig for opprinnelig opprydding, og at PCer ikke alltid har en Internett-tilkobling. Likevel, "testen ble kjørt med full internettforbindelse, og Symantecs skyfunksjoner har fått tilgang til skyen deres."

Borgia sammenlikner testing av fildeteksjon alene med å teste en bilsikkerhetssystemer ved først å deaktivere alt annet enn fangbeltet, og sier at en slik test ville være "helt feil." Og likevel kan en slik test kanskje identifisere problemer med et svakt fangebelt, så "helt feil" virker en overdrivelse.

Real World Tests Only?

Borgia bemerker at Symantec sterkt støtter virkelige tester, tester "som nærmest representerer trusselmiljøet og bruker alle de proaktive teknologiene som følger med et produkt." Jeg kan knapt være uenig, men slike tester krever enormt mye tid og krefter. Blogginnlegget holder testingen utført av Dennis Labs som et lysende eksempel. Dennis Labs registrerer infeksjonsprosessen fra nettadresser i den virkelige verden og bruker deretter et web-avspillingssystem for å gjenta nøyaktig samme prosess under beskyttelse av hvert antivirusprodukt. Det er beundringsverdig, men det tar mye tid og krefter.

AV-Comparatives selv kjører tester fra den virkelige verden hver dag, og utfordrer en samling antivirusprodukter som er installert i identiske testrigger for å forsvare seg mot skadelig programvare fra hundrevis av nye skadelige URL-er i den virkelige verden. Hver måned oppsummerer de dataene, og hvert kvartal slipper de en fullstendig Real World Protection-rapport. Prosessen er arbeidsintensiv nok til at de er avhengige av hjelp fra University of Innsbruck og på delvis finansiering fra den østerrikske regjeringen.

Du kan forvente at Symantec vil skinne i denne virkelige testen av AV-Comparatives. "Dessverre, " bemerket Stelzhammer, "Symantec ønsket ikke å være med i vår viktigste testserie." Symantec valgte å ikke delta, sa de, fordi "AV-Comparatives ikke tilbyr leverandører et abonnement fokusert utelukkende på virkelighetsnære tester, mens hun velger bort filskanningstesten." Imidlertid ser det ut til at denne strategien har fått tilbake. Selv om selskapet ikke abonnerte, satte AV-Comparatives Symantec i testen på forespørsel "ettersom resultatene har blitt veldig etterspurt av leserne og pressen."

Flere tester har verdi

Symantecs blogginnlegg konkluderer: "Vi ser frem til dagen da alle publiserte tester er tester fra den virkelige verden. I mellomtiden må leserne være på vakt for kunstige tester som viser villedende produktsammenligninger." Også jeg ville være begeistret for å se flere tester som samsvarer med brukerens virkelige opplevelse, men jeg tror ikke vi kan forkaste fildeteksjonstester.

Vurder dette. Hvis du kjøper antivirusprogramvare for et system som aldri hadde beskyttelse, vil du forvente at det vil rydde opp for all skadelig programvare, uten å forstå at det ikke ble gitt en sjanse til å bruke forebygging av nettverksinntrenging. I et slikt tilfelle vil du sannsynligvis se etter høye poengsummer i en test som AV-Comparatives on-demand-test, en test som ganske nøyaktig samsvarer med situasjonen din.

For kontinuerlig beskyttelse, ja, vil du ha et produkt som tjener toppscore i virkelige tester. Så velg et produkt som scorer høyt på begge områdene, og i tester fra flere laboratorier. På den måten får du beskyttelse som kan ta seg av eventuelle problemer ved installasjonen og også avverge fremtidige malware-angrep.