Microsoft tilbakestiller antivirus-testfeil

Å jobbe i Microsoft Malware Protection Center må være tøft. Her er firmaet ditt blant de største i verden, men et lite (men godt ansett) antivirus-testlaboratorium i Tyskland sier at antivirusprogramvaren din ikke kutter sennep. Ikke bare en gang, men to ganger i løpet av de siste månedene, klarte ikke Microsoft å motta sertifisering fra AV-Test.

Joe Blackbird, programleder ved senteret, forklarte i et blogginnlegg at å mislykkes med denne testen ikke betyr at Microsofts bruker ikke er beskyttet.

Åpenhet i testing

I samsvar med prinsippene fra AMTSO, gjør AV-Test ingen hemmelighet om metodikken som brukes for å gjennomføre sine pågående sertifiseringstester. Det betyr at Blackbird kunne sjekke og bekrefte nøyaktig hvorfor Microsoft Security Essentials ikke passerte.

Testen gir lik vekt på tre sikkerhetselementer: beskyttelse (å forhindre ny malware mot å angripe et rent system), reparere (tømme malware som allerede er til stede), og brukervennlighet (å gjøre jobben uten å bremse systemet eller anklager gyldige programmer falskt). Microsoft gjorde OK på reparasjons- og brukervennlighetsområdene, men fikk bare 1, 5 av 6 mulige poeng for beskyttelse.

Ikke virkelig verden?

Blackbirds viktigste påstand er at denne testen ikke speiler den virkelige opplevelsen til Microsofts kunder. I følge AV-Test savnet Microsoft 28 av 100 trusler på null dager. Microsofts telemetri viser imidlertid at "99, 997 prosent av kundene våre traff med 0-dagers dager, møtte ikke skadelige programvareprøver som ble testet i denne testen." Legg merke til at han ikke snakker om 99, 997 prosent av alle kunder. Han sier at bare de 0, 003 prosent av dem som møtte en null-dagers trussel av noe slag, møtte en som AV-testen faktisk brukte.

Men er dette nødvendigvis en tiltale for testmetoden? La oss se på det omvendt. Nulldagers angrep forekommer konstant, i stort antall. Hvis 0, 003 prosent representerer bare en kunde, har 300 000 kunder opplevd et slikt angrep. Selvfølgelig kan antallet være større. AV-test plukket ut en tilfeldig prøve på 100 og fant tilfeldigvis 28 som Microsoft ikke kan oppdage. Det høres litt dårlig ut, ikke sant?

Microsoft savnet også 9 prosent av de 216 000 filene i samlingen "nylig skadelig programvare", men, sa Blackbird, de tapte prøvene "representerer ikke det kundene våre møter. Når vi eksplisitt lette etter disse filene, kunne vi ikke finne dem på vår kundenes maskiner."

Kundefokusert prioritering

"I desember 2012, " fortsatte Blackbird, "behandlet vi 20 millioner nye potensielt skadelige filer, og ved hjelp av telemetri og kundepåvirkning for å prioritere disse filene, la vi til beskyttelse som blokkerte 4 millioner forskjellige ondsinnede filer på nesten 3 millioner datamaskiner. Disse 4 millionene. filer kunne ha vært kundeeffektive hvis vi ikke hadde prioritert dem på riktig måte. " Med andre ord, Microsoft klarte seg dårlig i denne testen på grunn av deres vekt på å prioritere filer som aktivt ville påvirke kundene sine.

Det er et interessant poeng, men andre leverandører klarer å beskytte sine brukere og også tjene topp score fra AV-Test. Bitdefender, F-Secure og Trend Micro fikk alle 6 av 6 mulige poeng i beskyttelsestesten.

Jeg gir poenget at AV-Test ikke brukte all skadelig programvare som faktisk oppsto av Microsofts brukere for deres test. Det ville være umulig. Antivirus-testere må gjøre sitt beste for å bruke representative prøver. Imidlertid antyder mine egne hands-on-tester med Microsoft Security Essentials, ved bruk av prøver som er langt fra null dager, at det bare ikke er så effektivt som de beste antivirusproduktene.

For mer fra Neil, følg ham på Twitter @neiljrubenking.