Antivirusprøving 101

Flere steder rundt om i verden legger team av dedikerte forskere dusinvis av antivirusprodukter gjennom utmattende tester. Noen av disse antivirus-testlaboratoriene kjører prosedyrer som tar måneder. Andre utfordrer antivirusprodukter til å oppdage hundretusener av prøver. Det er ikke mulig en ensom anmelder som meg kan duplisere innsatsen, men jeg fortsetter med å utføre hands-on-testing for hver antivirusanmeldelse. Hvorfor? Det er flere grunner.

Aktualitet er en grunn. Jeg gjør mitt beste for å gjennomgå hvert nytt sikkerhetsprodukt så snart det er utgitt. Laboratoriene utfører testene sine på en plan som sjelden samsvarer med mine behov. Omfattende er en annen. Ikke hvert sikkerhetsselskap deltar med hver lab. noen deltar ikke i det hele tatt. For de som ikke deltar, er mine egne resultater alt jeg må gå på. Endelig gir praktisk testing en følelse av hvordan produktet og selskapet håndterer tøffe situasjoner, som malware som forhindrer installasjon av den beskyttende programvaren.

For å få en rimelig sammenligning, må jeg kjøre hvert antivirusprodukt mot samme sett med prøver. Ja, det betyr at jeg aldri tester med programvare som ikke er sett på null dager. Jeg stoler på at laboratoriene, med større ressurser, skal utføre den typen testing. Det tar lang tid å lage et nytt sett med infiserte testsystemer, så jeg har bare råd til å gjøre det en gang i året. Med tanke på at prøvene mine ikke er eksternt nye, ville du tro at alle sikkerhetsprodukter vil håndtere dem godt, men det er ikke det jeg observerer.

Samler prøver

De store uavhengige laboratoriene holder en klokke på internett og fanger stadig nye malware-prøver. Selvfølgelig må de evaluere hundrevis av mistenkte for å identifisere de som virkelig er ondsinnet, og bestemme hva slags ondsinnet oppførsel de viser.

For min egen testing er jeg avhengig av hjelp fra eksperter fra mange forskjellige sikkerhetsselskaper. Jeg ber hver gruppe om å oppgi virkelige nettadresser for ti eller så "interessante" trusler. Selvfølgelig ønsker ikke alle selskaper å delta, men jeg får et representativt utvalg. Å gripe filene fra deres virkelige beliggenhet har to fordeler. For det første trenger jeg ikke å forholde meg til e-post eller filutvekslingssikkerhet utslette prøver under transport. For det andre eliminerer det muligheten for at ett selskap kan spille systemet ved å levere en engangstrussel som bare deres produkt kan oppdage.

Malware-forfattere flytter og omformer programvarevåpen hele tiden, så jeg laster ned foreslåtte prøver umiddelbart etter mottak av nettadressene. Likevel har noen av dem allerede forsvunnet når jeg prøver å ta tak i dem.

Slipp viruset!

Det neste trinnet, en vanskelig, innebærer å lansere alle foreslåtte eksempler i en virtuell maskin under kontroll av overvåkingsprogramvare. Uten å gi bort for mye detaljer, bruker jeg et verktøy som registrerer alle fil- og registerendringer, et annet som oppdager endringer ved bruk av før og etter øyeblikksbilder av systemet, og det tredje som rapporterer om alle prosesser som kjører. Jeg har også kjørt et par rootkit-skannere etter hver installasjon, siden i teorien en rootkit kan unngå å oppdage av andre skjermer.

Resultatene er ofte skuffende. Noen prøver oppdager når de kjører i en virtuell maskin og nekter å installere. Andre vil ha et spesifikt operativsystem, eller en spesifikk landskode, før de tar grep. Atter andre kan vente på instruksjon fra et kommando- og kontrollsenter. Og noen få skader testsystemet til det punktet at det ikke fungerer lenger.

Av de siste forslagene mine var 10 prosent allerede borte da jeg prøvde å laste ned dem, og omtrent halvparten av resten var uakseptable av en eller annen grunn. Fra de som gjensto valgte jeg tre dusin, og ønsket å få en rekke malware-typer foreslått av en blanding av forskjellige selskaper.

Er det der?

Å velge malware-prøver er bare halvparten av arbeidet. Jeg må også gå gjennom reams og reams av loggfiler generert under overvåkningsprosessen. Overvåkningsverktøyene registrerer alt, inkludert endringer som ikke er relatert til malware-prøven. Jeg skrev et par filtrerings- og analyseprogrammer for å hjelpe meg med å vinne ut de spesifikke filene og registerporene som er lagt til av malware-installasjonsprogrammet.

Etter å ha installert tre eksemplarer i tolv ellers identiske virtuelle maskiner, kjører jeg et annet lite program som leser de endelige loggene mine og kontrollerer at de kjørende programmene, filene og registerets spor som er knyttet til prøvene faktisk er til stede. Ganske ofte må jeg justere loggene mine fordi en polymorf trojan ble installert ved hjelp av andre filnavn enn den brukte da jeg kjørte analysen. Over en tredjedel av min nåværende samling trengte faktisk justering for polymorfisme.

Er det gått?

Når alt dette preparatet er fullført, er det en enkel sak å analysere et bestemt suksess med opprydning av antivirusprodukter. Jeg installerer produktet på alle de tolv systemene, kjører en fullstendig skanning og kjører sjekkverktøyet mitt for å finne ut hvilke (om noen) spor som er igjen. Et produkt som fjerner alle kjørbare spor og minst 80 prosent av det ikke-kjørbare søppelet, scorer ti poeng. Hvis det fjerner minst 20 prosent av søppelet, er det verdt ni poeng; mindre enn 20 prosent får åtte poeng. Hvis kjørbare filer forblir, scorer produktet fem poeng; som går ned til tre punkter hvis noen av filene fremdeles kjører. Og selvfølgelig får en total glipp ingen poeng i det hele tatt.

Gjennomsnitt av poengene for hver av tre dusin prøver gir meg en ganske god oversikt over hvor godt produktet håndterer rengjøring av malware-infiserte testsystemer. I tillegg får jeg praktisk erfaring med prosessen. Anta at to produkter får identiske score, men det ene installeres og skannes uten problemer, og det andre krevde arbeidstimer av teknisk support; den første er helt klart bedre.

Nå vet du hva som går inn i fjerningskjemaet for skadelig programvare som jeg inkluderer i hver antivirusanmeldelse. Det er massevis av arbeid en gang hvert år, men det arbeidet lønner seg i spar.