Microsoft overgår symantec i antivirus-test

I den siste testen på forespørsel fra AV-Comparatives, mistet ganske mange produkter poeng på grunn av falske positiver - og feilaktig identifiserte et gyldig program som malware. Symantec og Microsoft scoret omtrent det samme basert på påvisning av malware-prøver, men Symantec mistet poeng på grunn av falske positiver. Historien er mer enn det.

On-demand Scanning

On-demand skanningstesten utsetter hvert testede produkt for en samling av "prøver fra de siste ukene / månedene som treffer brukere i feltet." Prøvene analyseres videre for å klassifisere lignende filer og redusere størrelsen på prøvesettet, så "hver glipp er ment å representere en savnet gruppe." Denne spesielle testen bruker 136 610 nylige prøver. Et produkts første poengsum er prosentandelen av prøvene som er oppdaget.

Overraskende nok demonstrerte Symantecs Norton AntiVirus den laveste deteksjonshastigheten (før han vurderte falske positiver), med 91, 2 prosent påvisning. Microsoft Security Essentials kantet seg høyere, og oppdaget 92 prosent av prøvene. Med 99, 9 prosent deteksjon, toppet G Data AntiVirus listen. Flere andre klarte seg bedre enn 99 prosent.

Falske positive

Forskere fra AV-Comparatives bruker en klyngeteknikk for å identifisere avskjæringspunktene som skiller ADVANCED + (toppkarakteren) fra AVANCED og ADVANCED fra STANDARD. Det er utgangspunktet, men et produkt med mange (16 til 50) falske positive sider vil miste ett klassifiseringsnivå, og et med veldig mange (51 til 100) vil miste to. Uansett hva den innledende vurderingen er, vil et produkt ikke være bestått av TESTED hvis et produkt viser "vanvittige mange" (over 100) falske positive.

Ni av de tjue produktene som ble testet mistet ett klassifiseringsnivå på grunn av mange falske positiver. I det minste ingen av dem hadde veldig mange eller "vanvittige mange" FP-er. Norton, som startet med en vurdering av STANDARD, sank til TESTED, og ​​AhnLab gjorde det også. I vinnerkretsen, med en rangering av AVANCED +, finner vi Avira, Bitdefender, BullGuard, F-Secure og Kaspersky. Klikk her for å se hele rapporten.

Merk at du ikke finner Microsoft oppført i priser-delen. Jeg trodde først dette var et tilsyn, men AV-Comparatives-medgründer Peter Stelzhammer satte meg rett. "Vi bestemte oss for å ikke liste opp Microsoft i Award-seksjonen lenger (og i ytterligere tester), " forklarte Stelzhammer, "ettersom beskyttelsen utenfor boksen er aktivert i Windows per standard." På en lignende måte har AV-Test valgt å behandle Microsofts poengsum som en minimum grunnlinje.

Vektet falske positiver

Symantec har i årevis tilfredsstilt at en enkel telling av falske positiver ikke er nyttig. Symantec-forskere anbefaler at enhver falsk positiv test inkluderer vekting basert på forekomsten av den aktuelle filen. De hevder at deres Norton Insight-analysesystem utelukker muligheten for en falsk positiv på alle filer, bortsett fra de med lav prevalens. Et sekundært dokument fra AV-Comparatives antyder at de kan ha rett.

False Positives-vedlegget til on-demand-rapporten viser hver eneste fil som hvert produkt feilaktig oppdaget som skadelig programvare, sammen med skadelig skadelig navn og et estimat for utbredelse. De identifiserte fem nivåer, fra "sannsynligvis færre enn hundre brukere" til "sannsynligvis flere hundretusener (eller millioner)."

Bare for å se, jeg velger et representativt antall brukere på hvert nivå, 50 brukere for det første nivået og ti ganger større for hvert høyere nivå, med 500 000 brukere av de mest utbredte programmene. Deretter beregnet jeg antall brukere som kan bli påvirket av hvert produkts falske positiver. Resultatene, vist i diagrammet nedenfor, antyder for meg at AV-sammenligninger bør vurdere å bruke en lignende vektet FP-beregning.

I dette diagrammet vises produktene som mistet et klassifiseringsnivå på grunn av falske positiver, med fet kursiv. Min vektede beregning har Norton FP som potensielt kan påvirke 13 750 brukere. Flere produkter som ikke ble dinglet basert på antall FP-er, hadde faktisk en større effekt enn Symantec, inkludert vinnerne Kaspersky og F-Secure.

Emsisoft hadde det største antallet falske positiver totalt sett, 38 av dem. Forferdelig, ikke sant? Men ingen av de to høyeste nivåene av utbredelse, så dens teoretiske effekt er mindre enn for Sophos, med 6 FPs totalt, eller ESET, med 9 FPer.

McAfee fikk en AVANSERT vurdering i den grunnleggende on-demand-testen. Med 15 falske positiver er det bare kort enn antallet som vil føre til at det mister et klassifiseringsnivå. Likevel har min vektede beregning den potensielt ansvarlige for å påvirke godt over to hundre tusen brukere, nesten 16 ganger så mange som Norton.

Dette er ikke tall i virkeligheten, bare et tankeeksperiment for å forstå hva det å bruke utbredelse til å måle falske positiver vil bety. Etter å ha gjennomgått denne øvelsen, håper jeg at AV-Comparatives vil finne en måte å faktorere utbredelse i deres falske positive tester. Bare å telle opp tallene er helt klart ikke nok.