-- Sinn und Unsinn von AV/AT Tests --
1. Herkömmliche Tests
Wenn Antiviren- bzw. Antitrojanerscanner einem Test unterzogen werden, müssen
sie oftmals riesige Trojaner- und Virenarchive durchscannen, um ihre "Erkennungsraten"
unter Beweis zu stellen. Dass viele der in den Archiven enthaltenen Schädlinge
in der Praxis nicht (oder nicht mehr) verwendet werden, interessiert dabei
genauso wenig wie die Tatsache, dass verbreitete und von AV/AT Scannern erkannte
Trojaner auf einfachste Weise wieder durch Packer und Crypter unerkennbar
gemacht werden können.
Nur wenige Tests verdeutlichen zumindest ansatzweise,
wie schlecht es um die Erkennung von gepackten und gecrypteten Trojanern bei
der Mehrzahl der AV/AT Scanner bestellt ist. So etwa die Tests von AV-Test.de, die vielen Scannern eklatante Schwächen
bei der Erkennung laufzeitkomprimierter Malware attestieren.
Siehe etwa folgende Auszüge:
Test für ComputerBild (Dez.
2001)
Test für PC-Welt (vom 11. Oktober 2001)
-- (Der komplette Test befindet sich hier.)
Test für c't (13/2002) -- Siehe hier
(Testbericht) und hier
(tabellarisches Ergebnis).
Test für PC-Welt (vom 31. Oktober 2002)
-- (Der komplette Test befindet sich hier.)
sowie ...
Test für c't (1/2005):
Anmerkung:
Diejenigen Testresultate, die wir für besonders bedeutsam erachten, sind
rot markiert. Es handelt sich dabei um die Tests, bei denen Malware verwendet
wurde, welche mittels verschiedener Windows (32Bit) Runtime Compressoren gepackt
wurde. Die Tests mit selbstextrahierenden Archiven halten wir dagegen nicht
für entscheidend, da die sich in einem Archiv befindliche Malware grundsätzlich
auch noch zu einem späteren Zeitpunkt (d.h. nach dem Entpacken) durch
den Wächter eines AV/AT Scanners erkannt und am Starten gehindert werden
kann. Dies ist bei laufzeitkomprimierter Malware gerade nicht der Fall, da
laufzeitkomprimierte Programme unmittelbar in den Arbeitsspeicher des Computer
entpackt werden.
Auch die Tests "Antivirenprogramme Mai 2002" vom 26. Mai 2002 sowie "Antitrojanerprogramme Juli 2002" vom 16. Juli 2002, beide erschienen bei Rokop Security, beschäftigen sich mit dem Problem laufzeitkomprimierter Malware.
Am 26. Januar 2003 erschien bei Rokop Security an
dieser Stelle ein
weiterer Test zum Thema.
Im Rahmen der zuvor genannten Tests wurden in der Regel keine komplexen Laufzeitpacker bzw. Protektoren wie Armadillo, ACProtect etc. verwendet. Die z.T. 100%ige Erkennungsrate der auf der Kaspersky-Technologie basierenden Scanner (z.B. AntiVirenKit, F-Secure, Kaspersky Anti-Virus) suggeriert, dass alle wichtigen Laufzeitpacker durchleuchtet werden können. Tatsächlich ist dem aber nicht so. Erschwerend kommt hinzu, dass Angreifer in der Praxis gerade diejenigen Laufzeitpacker verwenden, die nicht unterstützt werden. Weiterhin lassen die Testergebnisse nicht deutlich erkennen, dass bestimmte Scanner gar keine brauchbare Unpacking Engine besitzen, sondern laufzeitkomprimierte Malware nur deshalb erkennen, da sie Signaturen aus nicht komprimierten Dateibereichen (z.B. der Resource Section) verwenden. Solche Signaturen bieten in der Regel keinen zuverlässigen Schutz, da sie leicht durch einen Angreifer umgangen werden können bzw. nicht jedes Schadprogramm eine Resource Section besitzt. Die eigentliche Signaturqualität der Scanner wird ebenfalls nicht geprüft. Auch bestehende Designschwächen der Scanner bleiben unberücksichtigt.
2. Scheinsicherheit Reportagen
Während sich herkömmliche AV/AT Tests vor allem auf eine quantitative Beurteilung der Signaturdatenbank eines Scanners beschränken, bewerten wir die Scanner unter qualitativen Gesichtspunkten. Insbesondere untersuchen wir die Qualität der Unpacking Engine eines Scanners, die Qualität der verwendeten Signaturen sowie die Qualität der Scanengine und des Scannerdesigns. Wir bieten somit eine zusätzliche Entscheidungsgrundlage bei der Auswahl eines Scanners. Unsere Untersuchungen ersetzen herkömmliche AV/AT Tests nicht, sondern ergänzen sie. Quantitative Tests führen wir grundsätzlich nicht durch.
Letztes Update: Januar 2005