--
Wie wurde getestet ? -- 
1. Testumgebung
Alle Scanner wurden unter dem Betriebssystem Windows XP getestet. Grundsätzlich wurden alle Scanner auf mehreren unterschiedlichen Computersystemen installiert und überprüft. Hierfür wurden sowohl reale Systeme, als auch virtuelle Testumgebungen verwendet. Teilweise handelte es sich um Computer, auf denen das Betriebssystem frisch installiert worden war, teilweise wurden die Scanner auf bereits im Betrieb befindlichen Systemen getestet.
Jeder Scanner wurde zumindest auf einem realen System untersucht. Jeder Scanner wurde auf mindestens einem Computer getestet, dessen Betriebssystem frisch installiert worden war. Die Scanner wurden insbesondere dann auf weiteren Systemen getestet, wenn wir Problemen oder Inkompatibilitäten auf den Grund gehen wollten.
2. Testarchiv
Sämtliche Scanner wurden mit folgendem Testarchiv (113 Malwaresamples) überprüft.
Warum ist das Testarchiv so klein?
Sämtliche Malwaresamples, die sich in diesem Testarchiv befinden, wurden per Hand erstellt und anschliessend (per Selbstinfektion) auf Ihre Funktionsfähigkeit hin überprüft. Es wurde also nicht einfach eine Vielzahl von Trojanern automatisch mit einer Reihe von Packern gepackt. Die zuletzt genannte Vorgehensweise kann nämlich dazu führen, dass nicht funktionsfähige und nicht entpackbare Malwaresamples in das Testarchiv geraten und das Ergebnis verfälschen.
Die überschaubare Grösse des Testarchivs vereinfacht ausserdem die Analyse und Interpretation der Ergebnisse.
Nach welchen Kriterien wurde das Testarchiv erstellt?
Der Auswahl der Malwaresamples lagen folgende Überlegungen zugrunde.
a)
Es sollten folgende Packer bzw. Crypter durchgängig erkannt und entpackt/entschlüsselt
werden:
Armadillo 201, 220, 260
ASPack 2.12
ASProtect 1.1
FSG (XBytePro)
JD Pack 1.01
PE Compact 1.50, 1.82
PEShield 0.25
Petite 2.2
PKLite32 1.1
Netwalker
tElock 0.80, 0.98
UPX 0.84d, 1.01, 1.04, 1.08, 1.20, 1.24
WinKript
WWPack32 1.20
Yodacrypt 1.2
Um sicherzustellen, dass ein Scanner überhaupt in der Lage ist, die jeweilige Malware zu erkennen, wurde zusätzlich auch mit ungepackten Malwaresamples getestet (Ausnahme: NetDevil 1.5) .
b)
Wir haben versucht auszuschliessen, dass uns Scanner, die für bestimmte, häufig verwendete Packer lediglich spezielle Signaturen (anstatt einer funktionsfähigen Dekompressionsroutine) verwenden, die Unterstützung bestimmter Packformate lediglich "vorspiegeln". Wir haben deshalb z.B. stichprobenweise mit unterschiedlichen Versionen und/oder unterschiedlichen Komprimierungsstufen getestet.
asylum013wwpack32V120.exe
asylum013wwpack32V120comp4.exe
asylum013wwpack32V120comp9.exe
theefLe111upx084_comp4.exe
theefLe111upx104_comp6.exe
theefLe111upx108_comp2.exe
theefLe111upx120_comp1.exe
theefLe111upx124_comp8.exe
c)
Um eventuelle Schwächen bei der Erkennung unterschiedlicher Packformate aufzudecken, wurden stichprobenweise einige Dateiheader manipuliert.
Bionet318Aspack212headerfaked.exe
Bionet4manuellunpackedpklite3211headerfaked.exe
Bionet4standardupxfakeheader.exe
Netdevil12Aspack212headerfaked.exe
d)
Schwächen bei Signaturauswahl bzw. -qualität sollten identifiziert werden, indem mit einigen hexeditierten Malwaresamples (siehe hierzu "The Art of Patching"), einem polymorphen Trojaner sowie einem variabel konfigurierbaren Trojaner getestet wurde.
Bionet318ungepacktteniobhexedited.exe
optixpro12standardxitophexedited.exe
mosucker30polymorph.exe
optixpro12konfiguriert.exe
e)
Weiterhin wollten wir sehen, ob die Unpacking Engine einzelner Scanner auch mit sog. Mehrfachverpackungen zurecht kommt. Zu diesem Zweck wurde einige Trojaner mit mehreren Packern oder Cryptern nacheinander behandelt.
Bionet318netwalkerpetite22.exe
Bionet318UPXundAspack212.exe
Netdevil12UPXundAspack.exe
Netdevil15WinkriptPECompact182.exe
f)
Ausserdem wurden diverse Malwaresamples manuell entpackt (und teilweise wieder
neu gepackt), um herauszufinden, ob sich die hierdurch ergebende Veränderung
in der Dateistruktur negativ auf die Erkennungraten einzelner Scanner auswirkt.
(Siehe hierzu auch "Single-point scanning".)
Bionet318petite22un-packed.exe
Bionet318petite22un-packedpecompact15.exe
Bionet318petite22un-packedtelock080.exe
Bionet318petite22un-packedXByteProFSG.exe
Bionet4manuellunpacked.exe
Bionet4manuellunpackedaspack212.exe
Bionet4manuellunpackedJDPack101.exe
Bionet4manuellunpackedpklite3211.exe
Bionet4manuellunpackedyodacrypt12.exe
CyberSpy85manuallyunpackedkonfiguriert.exe
Lithium103petite22un-packed.exe
Lithium103petite22un-packedtelock080.exe
Netdevil12petite22un-packed.exe
Netdevil12petite22un-packedtelock.exe
g)
Zusätzlich wurde mit zwei gepatchten Trojaner getestet (siehe hierzu
"Single-point scanning" sowie "The
Art of Patching").
optix04nKAVsignaturepatched.exe
theeflite1.11jojopatch.exe
Last but not least wurden mit vielen Scannern Vorabtests sowie Zusatztests durchgeführt, um die Funktionsweise der Scanner besser zu verstehen bzw. einzelne Auffälligkeiten besser analysieren zu können. Bei diesen zusätzlichen Tests wurden oftmals kleinere, auf das spezielle Problem zugeschnittene Testarchive verwendet. Häufig wurde auch mit älteren Versionen des jeweiligen Scanners bzw. veralteten Signaturen getestet, um den Problemen besser auf den Grund gehen zu können. Beispielsweise wurde des öfteren mit veralteten Signaturen experimentiert, um herauszufinden, ob für bestimmte gepackte Malwaresamples eine Unpacking-Routine vorhanden ist oder lediglich eine spezielle Signatur erstellt wurde. Teilweise wurde mit verschiedenen Versionen desselben Scanners getestet, um ausschliessen zu können, dass sich die von uns festgestellten Probleme auf eine bestimmte Produktversion beschränken.