Hvordan vi tester antivirus- og sikkerhetsprogramvare

Hvert antivirus- eller sikkerhetssuiprodukt lover å beskytte deg mot en rekke sikkerhetsrisikoer og irritasjoner. Men lever de faktisk opp til løftene? Når vi evaluerer disse produktene for vurdering, setter vi deres påstander på prøve på mange forskjellige måter. Hver anmeldelse rapporterer resultatene fra testene våre, så vel som praktisk erfaring med produktet. Denne artikkelen vil grave dypere og forklare hvordan disse testene fungerer.

Naturligvis er ikke hver test passende for hvert produkt. Mange antivirusverktøy inkluderer beskyttelse mot phishing, men noen gjør det ikke. De fleste suitene inkluderer spamfiltrering, men noen utelater denne funksjonen, og noen antivirusprodukter legger den til som en bonus. Uansett hvilke funksjoner et gitt produkt tilbyr, setter vi dem på prøve.

Testing av sanntids antivirus

Hvert fulldrevet antivirusverktøy inkluderer en on-demand skanner for å oppsøke og ødelegge eksisterende malware-infeksjoner og en sanntidsmonitor for å avverge nye angrep. I det siste har vi faktisk opprettholdt en samling virtuelle maskiner som er infisert med malware, for å teste hvert produkts evne til å fjerne eksisterende malware. Fremskritt innen koding av skadelig programvare gjorde tester med live malware for farlig, men vi kan fortsatt utøve hvert produkts sanntidsbeskyttelse.

Hvert år tidlig på våren, når de fleste sikkerhetsleverandører har avsluttet sin årlige oppdateringssyklus, samler vi en ny samling malware-prøver for denne testen. Vi starter med en strøm av de nyeste webadressene for malware-hosting, laster ned hundrevis av prøver og vinner dem ned til et håndterbart antall.

Vi analyserer hver prøve ved hjelp av forskjellige håndkodede verktøy. Noen av prøvene oppdager når de kjører i en virtuell maskin og avstår fra ondsinnet aktivitet; vi bruker ganske enkelt ikke disse. Vi ser etter en rekke forskjellige typer, og etter prøver som gjør endringer i filsystemet og registeret. Med litt anstrengelse deler vi samlingen ned til et håndterbart antall, og registrerer nøyaktig hvilke systemendringer hver prøve gjør.

For å teste produktets blokkeringsevne for et produkt, laster vi ned en mappe med prøver fra skylagring. Sanntidsbeskyttelse i noen produkter starter umiddelbart og utsletter kjent malware. Hvis det er nødvendig for å utløse beskyttelse i sanntid, klikker vi enkelt på hver prøve, eller kopierer samlingen til en ny mappe. Vi noterer oss hvor mange prøver antiviruset eliminerer i sikte.

Deretter starter vi hver gjenværende prøve og noterer om antiviruset oppdaget det. Vi registrerer den totale prosentandelen som ble oppdaget, uavhengig av når deteksjonen skjedde.

Deteksjon av et malware-angrep er ikke tilstrekkelig; antiviruset må faktisk forhindre angrepet. Et lite internt program sjekker systemet for å avgjøre om skadelig programvare klarte å gjøre endringer i registeret eller installere noen av filene. Når det gjelder kjørbare filer, sjekker den også om noen av disse prosessene faktisk kjører. Og så snart målingen er fullført, slår vi av den virtuelle maskinen.

Hvis et produkt forhindrer installasjon av alle kjørbare spor etter en malware-prøve, tjener det 8, 9 eller 10 poeng, avhengig av hvor godt det forhindret rotet i systemet med ikke-kjørbare spor. Å oppdage skadelig programvare, men unnlate å forhindre installasjon av kjørbare komponenter, får halvkreditt, 5 poeng. Til slutt, hvis, til tross for antiviruss forsøk på beskyttelse, faktisk en eller flere skadelige prosesser kjører, er det verdt bare tre poeng. Gjennomsnittet av alle disse poengsumene blir produktets endelige score for skadelig programvare.

Testing av ondsinnet URL-blokkering

Den beste tiden å utslette malware er før den noen gang når datamaskinen din. Mange antivirusprodukter integreres med nettleserne dine og styrer dem bort fra kjente URL-er for skadelig programvare. Hvis beskyttelsen ikke sparker inn på det nivået, er det alltid en mulighet til å utslette nyttelasten til skadelig programvare under eller rett etter nedlastingen.

Mens oue grunnleggende blokkering av skadelig programvare bruker det samme settet med prøver i en sesong, er URL-adressene for skadelig programvare vi bruker for å teste nettbasert beskyttelse forskjellige hver gang. Vi får en innmating av de aller nyeste ondsinnede URL-ene fra London-baserte MRG-Effitas og bruker vanligvis nettadresser som ikke er mer enn en dag gamle.

Ved hjelp av et lite spesialbygget verktøy går vi nedover listen og lanserer hver URL etter tur. Vi kasserer alle som ikke faktisk peker på nedlasting av skadelig programvare, og alle som returnerer feilmeldinger. For resten legger vi merke til om antiviruset hindrer tilgang til URL-en, utsletter nedlastingen eller ikke gjør noe. Etter at du har registrert resultatet, hopper verktøyet til neste URL i listen som ikke er på samme domene. Vi hopper over filer som er større enn 5MB, og hopper også over filer som allerede har vist seg i samme test. Vi holder på med det til vi har samlet data for minst 100 bekreftede webadresser for skadelig programvare.

Poengsummen i denne testen er ganske enkelt prosentandelen av nettadresser som antiviruset forhindret nedlasting av skadelig programvare, enten ved å kutte tilgangen til nettadressen fullstendig eller ved å utslette den nedlastede filen. Resultatene varierer mye, men de aller beste sikkerhetsverktøyene klarer 90 prosent eller mer.

Testing phishing Detection

Hvorfor ty til å utdype datastjålende trojanere, når du bare kan lure folk til å gi opp passordene sine? Det er tankegangen til malefaktorer som oppretter og administrerer nettfiskingsnettsteder. Disse falske nettstedene etterligner banker og andre sensitive nettsteder. Hvis du oppgir innloggingsinformasjon, har du nettopp gitt bort nøklene til riket. Og phishing er plattformuavhengig; den fungerer på alle operativsystemer som støtter surfing på nettet.

Disse falske nettstedene blir vanligvis svartelistet ikke lenge etter at de ble opprettet, så for testing bruker vi bare de aller nyeste nettfiskingsadressene. Vi samler disse fra phishing-orienterte nettsteder, og favoriserer de som er rapportert som svindel, men som ennå ikke er bekreftet. Dette tvinger sikkerhetsprogrammer til å bruke sanntidsanalyse i stedet for å stole på enkeltsinnede svartelister.

Vi bruker fire virtuelle maskiner for denne testen, en av produktet som testes, og en hver bruker phishing-beskyttelsen innebygd i Chrome, Firefox og Microsoft Edge. Et lite hjelpeprogram lanserer hver URL i de fire nettleserne. Hvis noen av dem returnerer en feilmelding, kaster vi den URL-en. Hvis den resulterende siden ikke aktivt prøver å etterligne et annet nettsted, eller ikke prøver å fange opp brukernavn og passorddata, kasserer vi det. For resten registrerer vi om hvert produkt oppdaget svindelen eller ikke.

I mange tilfeller kan ikke produktet som testes engang gjøre like bra som den innebygde beskyttelsen i en eller flere nettlesere.

Testing av spamfiltrering

I disse dager e-postkontoer for de fleste forbrukere har spam støvsuget av dem av e-postleverandøren, eller av et verktøy som kjører på e-postserveren. Faktisk synker behovet for spamfiltrering stadig. Østerriksk testlaboratorium AV-Comparatives testet antispamfunksjonalitet for noen år siden, og fant at til og med Microsoft Outlook alene blokkerte nesten 90 prosent av spam, og de fleste suitene gjorde det bedre, noen av dem mye bedre. Laboratoriet lover ikke engang å fortsette å teste forbrukervendte spamfiltre, og merker at "flere leverandører tenker å fjerne antispamfunksjonen fra forbrukerens sikkerhetsprodukter."

I det siste kjørte vi våre egne antispam-tester ved å bruke en konto i den virkelige verden som får både spam og gyldig post. Prosessen med å laste ned tusenvis av meldinger og manuelt analysere innholdet i innboksen og spam-mappen, tok mer tid og krefter enn noen av de andre praktiske testene. Å bruke maksimal innsats på en funksjon av minimal betydning gir ikke lenger mening.

Det er fremdeles viktige punkter å rapportere om spam-filteret til en suite. Hvilke e-postklienter støtter den? Kan du bruke den med en ikke-støttet klient? Er det begrenset til POP3-e-postkontoer, eller håndterer den også IMAP, Exchange eller til og med nettbasert e-post? Fremover vurderer vi nøye antispamfunksjonene til hver suite, men vi vil ikke lenger laste ned og analysere tusenvis av e-poster.

Test av ytelsen til Security Suite

Når sikkerhetspakken din er opptatt med å se etter malware-angrep, forsvare seg mot nettverksinntrenging, forhindre nettleseren i å besøke farlige nettsteder, og så videre, er det tydelig å bruke noen av systemets CPU og andre ressurser for å gjøre jobben sin. For noen år siden fikk sikkerhetssuiter rykte for å suge opp så mye av systemressursene dine at din egen datamaskinbruk ble påvirket. Ting er mye bedre i disse dager, men vi kjører fortsatt noen enkle tester for å få et innblikk i hver suites effekt på systemytelsen.

Sikkerhetsprogramvare må lastes så tidlig i oppstartsprosessen som mulig, for ikke å finne skadelig programvare som allerede er i kontroll. Men brukere vil ikke vente lenger enn nødvendig for å begynne å bruke Windows etter omstart. Testskriptet vårt kjøres umiddelbart etter oppstart og begynner å be Windows rapportere CPU-bruksnivået en gang per sekund. Etter 10 sekunder på rad med CPU-bruk ikke mer enn 5 prosent, erklærer det at systemet er klart til bruk. Ved å trekke fra starten av startprosessen (som rapportert av Windows) vet vi hvor lang tid oppstartsprosessen tok. Vi kjører mange repetisjoner av denne testen og sammenligner gjennomsnittet med det for mange repetisjoner når ingen pakke var til stede.

I sannhet starter du sannsynligvis ikke mer enn en gang per dag. En sikkerhetssuite som bremset hverdagslige filoperasjoner kan ha en mer betydelig innvirkning på aktivitetene dine. For å se etter den slags avmatningen, setter vi tid på et skript som flytter og kopierer en stor samling av store til enorme filer mellom stasjoner. Gjennomsnittlig av flere kjøringer uten suite og flere kjøringer med sikkerhetspakken aktiv, kan vi bestemme hvor mye suiten bremset disse filaktivitetene. Et lignende skript måler suitenes effekt på et skript som glipper og pakker ut den samme filsamlingen.

Den gjennomsnittlige nedgangen i disse tre testene av suitene med den letteste berøringen kan være mindre enn 1 prosent. I den andre enden av spekteret er det i gjennomsnitt veldig få suiter 25 prosent, eller enda mer. Du kan faktisk merke effekten av de mer tunge hånd-suitene.

Testing av brannmurbeskyttelse

Det er ikke så lett å tallfeste en brannmurs suksess, fordi forskjellige leverandører har forskjellige ideer om hva brannmuren skal gjøre. Likevel er det en rekke tester vi kan bruke på de fleste av dem.

Vanligvis har en brannmur to jobber, som beskytter datamaskinen mot angrep utenfor og sikrer at programmer ikke misbruker nettverkstilkoblingen. For å teste beskyttelse mot angrep bruker vi en fysisk datamaskin som kobles gjennom ruterenes DMZ-port. Dette gir effekten av en datamaskin som er koblet direkte til Internett. Det er viktig for testing, fordi en datamaskin som er koblet gjennom en ruter, faktisk er usynlig for Internett for øvrig. Vi traff testsystemet med portskanninger og andre nettbaserte tester. I de fleste tilfeller finner vi at brannmuren helt skjuler testsystemet for disse angrepene, og setter alle porter i stealth-modus.

Den innebygde Windows-brannmuren håndterer stealthing av alle porter, så denne testen er bare en grunnlinje. Men selv her er det forskjellige meninger. Kasperskys designere ser ikke noen verdi i stealthing-porter så lenge portene er stengt og brannmuren aktivt forhindrer angrep.

Programkontroll i de tidligste personlige brannmurene var ekstremt praktisk. Hver gang et ukjent program prøvde å få tilgang til nettverket, dukket brannmuren opp en spørring der han spurte brukeren om ikke å tillate tilgang. Denne tilnærmingen er ikke veldig effektiv, siden brukeren generelt ikke har noen anelse om hvilken handling som er riktig. De fleste vil bare tillate alt. Andre vil klikke på Blokker hver gang, til de bryter et viktig program; etter det tillater de alt. Vi utfører en praktisk sjekk av denne funksjonaliteten ved hjelp av et lite nettleserverktøy som er kodet i time, en som alltid vil kvalifisere som et ukjent program.

Noen ondsinnede programmer prøver å komme seg rundt denne typen enkle programkontroller ved å manipulere eller maskere som pålitelige programmer. Når vi møter en old-school brannmur, tester vi dens ferdigheter ved hjelp av verktøy som kalles lekkasjetester. Disse programmene bruker de samme teknikkene for å unngå programkontroll, men uten skadelig nyttelast. Vi finner færre og færre lekkasjetester som fremdeles fungerer under moderne Windows-versjoner.

I den andre enden av spekteret konfigurerer de beste brannmurer automatisk nettverkstillatelser for kjente gode programmer, eliminerer kjente dårlige programmer og øker overvåkningen av ukjente. Hvis et ukjent program prøver en mistenkelig tilkobling, starter brannmuren på det tidspunktet for å stoppe den.

Programvare er ikke og kan ikke være perfekt, så skurkene jobber hardt for å finne sikkerhetshull i populære operativsystemer, nettlesere og applikasjoner. De planlegger utnyttelser for å kompromittere systemsikkerheten ved å bruke alle sårbarheter de finner. Naturligvis gir produsenten av det utnyttede produktet en sikkerhetsoppdatering så snart som mulig, men inntil du faktisk bruker den oppdateringen, er du sårbar.

De smarteste brannmurene avskjærer disse utnyttelsesangrepene på nettverksnivå, slik at de aldri når frem til datamaskinen din. Selv for de som ikke skanner på nettverksnivå, vil antiviruskomponenten i mange tilfeller utslette utnyttelsens skadelige nyttelast. Vi bruker CORE Impact penetrasjonsverktøyet for å treffe hvert testsystem med omtrent 30 nylige utnyttelser og registrerer hvor godt sikkerhetsproduktet avskaffet dem.

Til slutt kjører vi en tilregnelighetskontroll for å se om en koding for skadelig programvare lett kan deaktivere sikkerhetsbeskyttelsen. Vi ser etter en av / på-bryter i registeret og tester om den kan brukes til å slå av beskyttelsen (selv om det er mange år siden vi fant et produkt sårbart for dette angrepet). Vi prøver å avslutte sikkerhetsprosesser ved å bruke Task Manager. Og vi sjekker om det er mulig å stoppe eller deaktivere produktets essensielle Windows-tjenester.

Testing av foreldrekontroll

Foreldrekontroll og overvåking dekker et bredt utvalg av programmer og funksjoner. Det typiske foreldrekontrollverktøyet holder barna borte fra usmakelige nettsteder, overvåker internettbruken deres, og lar foreldre bestemme når og for hvor lenge barna får lov til å bruke Internett hver dag. Andre funksjoner spenner fra å begrense chat-kontakter til patruljering av Facebook-innlegg for risikable emner.

Vi utfører alltid en tilregnelighetskontroll for å sikre at innholdsfilteret faktisk fungerer. Det viser seg at å finne pornosider for testing er et blunk. Omtrent hvilken som helst URL som består av et adjektiv i størrelse og navnet på en normalt dekket kroppsdel ​​er allerede et pornoside. Svært få produkter mislykkes i denne testen.

Vi bruker et lite, internt nettleserverktøy for å bekrefte at innholdsfiltrering er nettleseruavhengig. Vi utsteder en tre-ords nettverkskommando (nei, vi publiserer den ikke her) som deaktiverer noen enkle innholdsfiltre. Og vi sjekker om vi kan unngå filteret ved å bruke et sikkert anonymiserende proxy-nettsted.

Å innføre tidsbegrensninger for barnas datamaskin eller Internett-bruk er bare effektivt hvis barna ikke kan forstyrre tidtakingen. Vi bekrefter at tidsplanleggingsfunksjonen fungerer, og prøv å unngå den ved å tilbakestille systemdatoen og klokkeslettet. De beste produktene stoler ikke på systemklokken for dato og klokkeslett.

Etter det er det bare å teste funksjonene som programmet hevder å ha. Hvis det lover muligheten til å blokkere bruk av spesifikke programmer, engasjerer vi den funksjonen og prøver å bryte den ved å flytte, kopiere eller gi nytt navn til programmet. Hvis det står at det striper ut dårlige ord fra e-post eller direktemeldinger, legger vi til et tilfeldig ord i blokklisten og bekrefter at det ikke blir sendt. Hvis den hevder at det kan begrense kontakter for direktemeldinger, setter vi opp en samtale mellom to av våre kontoer og forbyr deretter en av dem. Uansett kontroll eller overvåkningskraft programmet lover, gjør vi vårt beste for å sette det på prøve.

Tolke Antivirus Lab-tester

Vi har ikke ressurser til å utføre den typen uttømmende antivirus-tester som utføres av uavhengige laboratorier rundt om i verden, så vi følger nøye med på funnene deres. Vi følger to laboratorier som utsteder sertifiseringer og fire laboratorier som gir ut scorede testresultater med jevne mellomrom, og bruker resultatene sine for å informere våre anmeldelser.

ICSA Labs og West Coast Labs tilbyr et bredt utvalg av sikkerhetssertifiseringstester. Vi følger spesielt sertifiseringene deres for deteksjon av skadelig programvare og for fjerning av skadelig programvare. Sikkerhetsleverandører betaler for å få testet produktene sine, og prosessen inkluderer hjelp fra laboratoriene for å løse eventuelle problemer som forhindrer sertifisering. Det vi ser på her er det faktum at laboratoriet fant produktet betydelig nok til å teste, og leverandøren var villig til å betale for testing.

Basert i Magdeburg, Tyskland, setter AV-Test Institute kontinuerlig antivirusprogrammer gjennom en rekke tester. Den vi fokuserer på er en tredelt test som tildeler opptil 6 poeng i hver av tre kategorier: Beskyttelse, ytelse og brukervennlighet. For å oppnå sertifisering må et produkt tjene totalt 10 poeng uten nuller. De aller beste produktene tar med seg perfekte 18 poeng i denne testen.

For å teste beskyttelse utsetter forskerne hvert produkt for AV-Test sitt referansesett på over 100 000 prøver, og for flere tusen ekstremt utbredte prøver. Produktene får æren for å forhindre angrep på noe trinn, det være seg å blokkere tilgang til webadressen for skadelig programvare, oppdage skadelig programvare ved å bruke signaturer eller forhindre at skadelig programvare kjører. De beste produktene oppnår ofte 100 prosent suksess i denne testen.

Ytelse er viktig - hvis antiviruset merkbart trekker systemytelsen, vil noen brukere slå den av. AV-Test sine forskere måler forskjellen i tid som kreves for å utføre 13 vanlige systemhandlinger med og uten sikkerhetsproduktet til stede. Blant disse handlingene er å laste ned filer fra Internett, kopiere filer både lokalt og over hele nettverket og kjøre vanlige programmer. Gjennomsnittlig av flere kjøringer kan de identifisere hvor stor innvirkning hvert produkt har.

Brukbarhetstesten er ikke nødvendigvis hva du skulle tro. Det har ingenting å gjøre med brukervennlighet eller design av brukergrensesnitt. Snarere måler den brukervennlighetsproblemene som oppstår når et antivirusprogram feilaktig flagger et legitimt program eller nettsted som skadelig eller mistenkelig. Forskere installerer og driver aktivt en stadig skiftende samling av populære programmer, og legger merke til at antiviruset er merkelig atferd. En separat test som bare kan skannes, kontrollerer at antiviruset ikke identifiserer noen av over 600 000 legitime filer som skadelig programvare.

Vi samler resultater fra fire (tidligere fem) av de mange testene som regelmessig er utgitt av AV-Comparatives, som er basert i Østerrike og samarbeider tett med University of Innsbruck. Sikkerhetsverktøy som består en test, mottar standard-sertifisering; de som mislykkes er utpekt som bare testet. Hvis et program går utover det nødvendige minimum, kan det tjene Advanced eller Advanced + -sertifisering.

AV-Comparatives fildeteksjonstest er en enkel, statisk test som sjekker hvert antivirus mot rundt 100 000 malware-prøver, med en falsk-positiv test for å sikre nøyaktighet. Og ytelsestesten, omtrent som AV-Test, måler enhver innvirkning på systemytelsen. Tidligere inkluderte vi den heuristiske / atferdstesten; denne testen har blitt droppet.

Vi anser AV-Comparatives dynamiske helprodukt-test for å være den mest betydningsfulle. Denne testen tar sikte på å simulere en så praktisk som mulig en faktisk brukeropplevelse, slik at alle komponenter i sikkerhetsproduktet kan iverksette tiltak mot skadelig programvare. Til slutt starter utbedringstesten med en samling malware som alle testede produkter er kjent for å oppdage og utfordrer sikkerhetsproduktene til å gjenopprette et infisert system, og fullstendig fjerne skadelig programvare.

Der AV-Test og AV-Comparatives vanligvis inkluderer 20 til 24 produkter i testing, rapporterer SE Labs generelt om ikke mer enn 10. Det er i stor grad på grunn av arten av denne lab-testen. Forskere fanger opp virkelige verdener med skadelig programvare og bruker en replayteknikk slik at hvert produkt møter nøyaktig den samme nedlastingen eller andre nettbaserte angrep. Det er ekstremt realistisk, men vanskelig.

Et program som totalt blokkerer ett av disse angrepene, tjener tre poeng. Hvis det tok grep etter at angrepet begynte, men klarte å fjerne alle kjørbare spor, er det verdt to poeng. Og hvis den bare avsluttet angrepet, uten full opprydding, får det fortsatt ett poeng. I den uheldige hendelsen at skadelig programvare kjører gratis på testsystemet, mister produktet under testing fem poeng. På grunn av dette har noen produkter faktisk scoret under null.

I en egen test vurderer forskerne hvor godt hvert produkt avstår fra å feilaktig identifisere gyldig programvare som ondsinnet, vekting av resultatene basert på hvert gyldig programs utbredelse, og på hvor stor innvirkning den falske positive identifikasjonen ville ha. De kombinerer resultatene fra disse to testene og sertifiserer produkter på ett av fem nivåer: AAA, AA, A, B og C.

• The Best Security Suites for 2019 The Best Security Suites for 2019
• Den beste antivirusbeskyttelsen for 2019 Den beste antivirusbeskyttelsen for 2019
• Den beste gratis antivirusbeskyttelsen for 2019 Den beste gratis antivirusbeskyttelsen for 2019

I noen tid har vi brukt en strøm av prøver levert av MRG-Effitas i vår praktiske ondsinnede URL-blokkeringstest. Denne laben gir også kvartalsresultater for to spesifikke tester som vi følger. 360 Assessment & Certification-testen simulerer beskyttelse fra den virkelige verden mot gjeldende skadelig programvare, i likhet med den dynamiske virkelige verdenstesten som brukes av AV-Comparatives. Et produkt som fullstendig forhindrer angrep fra prøvesettet, får nivå 1-sertifisering. Nivå 2-sertifisering betyr at minst noen av malware-prøvene plantet filer og andre spor i testsystemet, men disse sporene ble eliminert ved neste omstart. Online Banking Certification tester veldig spesifikt for beskyttelse mot økonomisk skadelig programvare og botnett.

Det er ikke lett å komme med et samlet sammendrag av labresultatene, siden laboratoriene ikke alle tester den samme samlingen av programmer. Vi har utviklet et system som normaliserer hver labs score til en verdi fra 0 til 10. Våre samlede labresultatdiagram rapporterer gjennomsnittet av disse poengsummene, antall laboratorietesting og antall mottatte sertifiseringer. Hvis bare ett laboratorium inkluderer et produkt i testen, anser vi det som utilstrekkelig informasjon for en samlet poengsum.

Du har kanskje lagt merke til at denne listen over testmetoder ikke dekker virtuelle private nettverk eller VPN-er. Å teste en VPN er veldig forskjellig fra å teste noen annen del av en sikkerhetssuite, så vi har gitt en egen forklaring på hvordan vi tester VPN-tjenester.