Mange sikkerhetssuiter forbedrer beskyttelsen i den virkelige testen

Forskere ved Innsbruck-baserte AV-Comparatives arbeider utrettelig for å teste sikkerhetssuitenes beskyttende kraft på en måte som nær en opplevelse fra en ekte verden. Hver dag utsetter de nesten tjue suiter for faktiske malwareangrep, ved hjelp av et automatisert system for å registrere hvor godt produktet stod opp til testen. I løpet av det siste halvåret har de gjennomgått over 3000 testsaker. Halvårsresultatene er i, og et imponerende antall produkter har blitt bedre siden forrige rapport.

Viktigheten av prøvestørrelse

Det er intuitivt åpenbart at en test som denne vil gi mer nøyaktige resultater med et større sett med prøver, men denne gangen har AV-Comparatives tydelig forklart konsekvensene av et for lite prøvesett. En enkel separat rapport legger ut statistikken, og de er litt overraskende.

Anta at et bestemt produkt ble oppdaget 80 prosent av et sett med 10.000 skadelige prøver. Anta at du velger bare ti prøver tilfeldig fra den samme samlingen. Ved å bruke et diagram over alle mulige utfall, viser rapporten at det er nesten like sannsynlig å oppnå samme deteksjonshastighet, en høyere deteksjonshastighet eller en lavere deteksjonshastighet. Ja, å kutte ned til ti prøver er et ekstremt tilfelle, men det gjør sikker poenget.

Testmetoder

Ved hjelp av automatiserte og manuelle søkemetoder samler forskerteamet ondsinnede webadresser i den virkelige verden hver dag. De velger spesifikt en blanding av direkte lenker til malware-filer og nedlastede nettsteder. Når de går gjennom dagens prøver en etter en, utsetter de alle produktene for en bestemt URL samtidig og ser hvordan hvert produkt reagerer. Hvis noen komponent i suiten avverger skadelig programvare, er det en suksess. Hvis skadelig programvare glir forbi og setter opp rengjøring, er det en feil.

Noen ganger dukker suiten opp med et varsel om at den har funnet noe , og ber brukeren om å blokkere eller tillate det. For testformål velger AV-Comparatives-analytikere alltid å tillate handlingen. Et produkt som lykkes med å forsvare systemet til tross for denne handlingen, får full kreditt; et produkt som lar systemet bli kompromittert på grunn av et feil valg av brukeren, får halvkreditt.

Når en bestemt testsak er fullført, blir alle testsystemene tatt bilder tilbake til en pre-malware-tilstand, klar til neste testtilfelle.

Falske positive

Et falskt positivt resultat oppstår når sikkerhetsprogramvaren feilaktig blokkerer tilgangen til en legitim fil eller nettsted. Det er tydelig at du ikke vil at sikkerhetspakken din skal utslette gyldige filer eller holde deg borte fra ufarlige nettsteder. AV-Comparatives testet hvert produkt med omtrent tusen tilfeldig valgte domener, og omtrent hundre nye og populære programmer. For testformål lastet de ned hvert program fra utviklerens nettsted, ikke fra en nedlastingsportal.

Rapporten bemerker at statistisk og omdømmebasert sikkerhetsanalyse ofte vil blokkere eller advare om helt nye programmer og nettsteder. Den sier, "Selv om slike beskyttelsesteknikker… hjelper til med å gi høye score… kan dette også føre til at det blir oppdaget / blokkert uskyldige / rene filer og nettadresser bare fordi de er… for nye." Norton, en sterk talsmann for denne typen påvisning, deltar ikke i AV-Comparatives-testing.

Mye forbedring

Mer enn halvparten av produktene som er inkludert i den nåværende rapporten scoret bedre enn i forrige utgave av denne rapporten. Vipre, McAfee og Fortinet mislyktes alle siste gang, ikke engang tjente STANDARD, den laveste bestått karakteren. Denne gangen vurderte Fortinet og McAfee ADVANCED og Vipre kom til STANDARD. Alle tre fikk sin rangering redusert på grunn av falske positiver; basert bare på deteksjon, ville McAfee og Fortinet ha vurdert ADVANCED +, den høyeste vurderingen.

eScan hoppet fra STANDARD til AVANSERT +, mens den var avast!, ESET og Trend Micro flyttet fra ADVANCED til ADVANCED +. Flere andre som tidligere har rangert STANDARD klarte en AVANSERT rangering denne gangen.

Bitdefender tjener jevnlig toppscore over hele linja i uavhengige laboratorietester. Bare basert på malware-deteksjon ville det ha vurdert ADVANCED +, som det gjorde forrige gang, men falske positiver slo det ned til ADVANCED. Det samme skjedde med F-Secure og BullGuard.

AV-Comparatives-produktets dynamiske test er blant de mest arbeidsintensive testene jeg har opplevd. Det er ikke overraskende at laboratoriet er avhengig av støtte fra University of Innsbruck og fra den østerrikske regjeringen. Det er mye arbeid, men sluttresultatet er en test som veldig nærmer seg hvor godt et produkt vil beskytte brukere fra den virkelige verden.