Mcafee og trendmikro forbedrer seg i antivirus-test

Å teste antivirusprodukters virkelighet i verden er virkelig, veldig tøft. Ideelt sett vil du måle måten de håndterer ondsinnede nettsteder og applikasjoner når de blir møtt nøyaktig slik en bruker ville gjort. For å score testen, trenger du selvfølgelig muligheten til å identifisere hvert ondsinnet objekt, til og med angrep på null dager. Og hvis du kunne gjøre det, ville du slutte å teste og begynne å selge ditt eget antivirus. Du har heller ikke noen måte å direkte sammenligne flere produkter, siden mange ondsinnede nettsteder varierer deres oppførsel for å unngå å oppdage.

Antivirusekspertene ved Dennis Technology Labs har kommet med en testmetodikk som kommer veldig nær den virkelige verden. De laster ned hele innholdet på hvert ondsinnet nettsted de finner og bruker et avspillingssystem for å levere nøyaktig de samme farene for hvert produkt som testes. I de siste rapporterte resultatene reboundet et par produkter som bombet i den siste kvartalsrapporten imponerende.

Comeback Kids

Dennis Labs sertifiserer antivirusprodukter på fem nivåer, AAA, AA, A, B og C. I den siste testen nådde McAfee ikke engang C-nivå sertifisering, på grunn av mange falske positiver. Trend Micro tjente en B den gangen. Denne gangen fikk begge AA-sertifisering. Det er en imponerende snuoperasjon, spesielt for McAfee.

Som mange uavhengige laboratorier, behandler Dennis Labs Microsofts antivirus-teknologi som en grunnlinje. Ethvert produkt som ikke kan gjøre det bedre enn Windows innebygde beskyttelse, fortjener ikke vurdering. Hvis Microsoft faktisk var i gang, ville det ikke ha mottatt noen sertifisering, akkurat som forrige gang. Av mulige 300 poeng for beskyttelse tjente det negative 73.

Hvordan får du en negativ poengsum? Et antivirus tjener tre poeng hvis det fullstendig forhindrer malware-angrepet, to poeng hvis det nøytraliserer skadelig programvare og fjerner alle farlige spor, og ett poeng hvis det i det minste nøytraliserer skadelig programvare. Imidlertid, hvis skadelig programvare klarer å kompromittere testsystemet, mister antiviruset fem poeng. Med 100 prøver varierer de mulige resultatene fra 300 til negative 500.

Ikke blokker meg, bro

I tillegg til å teste hvert produkts evne til å blokkere skadelig programvare, kontrollerer testerne også for å sikre at det ikke blokkerer legitim programvare. De bruker et forseggjort vektingssystem som tar hensyn til utbredelsen av hver legitime app og den nøyaktige behandlingen den fikk fra antivirusprogrammet. For eksempel, å identifisere en app som mistenkelig og be brukeren om å ta en beslutning, blir ikke straffet så sterkt som aktivt karantene av appen som skadelig programvare.

Trend Micro mistet poeng her, da det blokkerte seks gyldige programmer uten brukerinteraksjon. Kaspersky, Avira og flere andre blokkerte ikke noe. Mulige poengsummer for denne delen av testområdet fra 740 til negativ 740.

Fremover

Fra og med denne rapporten har Dennis Labs begynt å legge til ett "gjesteprogram" til den vanlige listen over testede programmer. Denne gangen var det Avira. De sier ikke hvilket produkt som er gjesten i inneværende kvartals test, bortsett fra at det er "et av de mindre produktene som får mye god presse." Bør være interessant!

Den totale poengsummen for hvert produkt oppnås ved å summere beskyttelsesscore og den falske positive poengsummen. Jeg nevnte for Simon Edwards, Dennis Labs tekniske direktør, at dette ser ut til å gi unødig vekt på de falske positive, gitt at et produkt kan tjene 740 poeng uten falske positiver, men bare 300 for perfekt beskyttelse. Et ikke-noe-antivirus ville tjene totalt 240 poeng, mens et drakonisk antivirus som blokkerte alt, ville oppnådd negative 440.

Edwards var enig i at dette virker litt ubalansert. Det kan tenkes at rapporten i neste kvartal kan bruke et mer balansert scoringssystem. Jeg ser frem til å se det.