daily.out

2010-07-25

Sicherheits-Lücken zählen wie Pippi Langstrumpf

Secunia hat einen Sicherheitsbericht über die ersten sechs Monate des Jahres 2010 veröffentlicht, der scheinbar die Anzahl von Sicherheitslücken pro Hersteller enthält. Tatsächlich ist der Nutzen aus diesen Zahlen fraglich und ihr Zustandekommen kritikwürdig, denn bei genauem Lesen des Berichtes habe ich das Gefühl, hier rechnet jemand wie Pipi Langstrumpf:

Und natürlich war dieser Bericht eine willkommene Steilvorlage für Journalisten, deren Hintergrundwissen genauso groß ist wie ihre Recherche-Leistung. Was im kommerziellen Blätterwalt zählt, ist jedoch nicht die Wahrheit, sondern der Effekt der Schlagzeile auf die Werbe-Einnahmen. Was gab es da nicht alles zu bestaunen:

• Apple-Systeme haben die meisten Lücken
• Secunia bescheinigt Apple-Software die meisten Lücken
• Secunia: Apple baut die schlechtesten Produkte
• Secunia: Apple hat die meisten Sicherheitslecks
• Apple: Führend mit Software Sicherheitslücken
• Secunia: Software von Apple unsicherer als von Oracle
• Meiste Sicherheitslücken bei Apple
• Apple ist Sicherheitslücken-Weltmeister
• Apple hat die meisten Löcher?

An diesen Schlagzeilen ist tatsächlich eine Stelle korrekt: Das letzte Zeichen.

Secunia schreibt nämlich, daß die Graphik kein Anzeichen für die Sicherheit der einzelnen Hersteller ist, da es nicht möglich ist, die Hersteller allein auf Basis der Anzahl von Schwachstellen zu vergleichen. Also nochmal mit Betonung: Die Zahlen sind kein Kriterium für Sicherheit. Die Zahlen sind nicht zum Vergleichen der Hersteller geeignet.

Warum aber ist das so? Warum sind die Zahlen nicht für solche Schlagzeilen zu gebrauchen?

Qualität der Fehler unberücksichtigt

Wie schon in meinem Sicherheits-Artikel beschrieben, macht nicht die Anzahl von Fehlern Sicherheit oder Unsicherheit aus, sondern die Schwere der einzelnen Fehler. Was sagen zehn Fehler über die Sicherheit von Apple aus, wenn sie in Summe weniger kritisch sind als ein einzelner Fehler bei Microsoft? Sind zehn Grashalme, die mir auf den Kopf fallen schlimmer als ein einzelner Baumstamm?

Secunia weiß es besser, denn sie haben fünf Stufen, mit der sie die Schwere von Sicherheitsfehlern zum Ausdruck bringen von "nicht kritisch" bis "extrem kritisch". Das benutzen sie hier jedoch nicht, sondern sie scheren alle Arten von Fehlern über eine Kamm und summieren sie, als wären sie gleichwertig. Das ist fahrlässig, weil sie es besser wissen, und irreführend, weil keiner der Journalisten gescheit recherchiert.

Was sagt die reine Anzahl der Fehler aus, wenn man einen Hersteller, der nur einen Browser programmiert, mit einem vergleicht, der Dutzende von Programmen schreibt inklusive Betriebssysteme für diverse Geräte? Ist es nicht so, daß nur der, der nichts schreibt, keine Fehler macht, und der, der viel schreibt, auch entsprechend mehr Fehler machen wird? Aber von Fehlern pro Programmzeile ist in dem Bericht nicht die Rede. Es ist jedoch ein Unterschied, ob man einen Fehler pro Zeile oder nur alle hundert Zeilen macht. Die absolute Anzahl der Fehler sagt darüber nichts aus.

Secunia schreibt auch, daß nur 0,2% aller berichteten Fehler extrem kritisch sind und die meisten anderen Fehler eigentlich keine direkte Bedrohung für den Benutzer darstellen. Hier könnte man ja schon von bewußter Täuschung sprechen, wenn die Masse der Fehler eh ziemlich irrelevant ist.

Der größte Witz ist jedoch, daß auch gefixte mit nicht behobenen Fehlern zusammen gezählt werden. Secunia erfährt von vielen Fehlern erst, wenn sie in einem veröffentlichten Bugfix nachzulesen sind. Stellen behobene Fehler ein Sicherheitsproblem dar? Wohl kaum. Aber je mehr Fehler man behebt, desto schlechter sieht man in diesem Bericht aus. Das ist pervers.

Der Überbringer schlechter Nachrichten

Der Überbringer schlechter Nachrichten wird von Secunia bestraft und nicht der, der den Fehler gemacht hat: Secunia rechnet in dem Bericht alle Fehler, die Apple meldet, auch Apple zu. Das heißt, jeder Fehler in Java, Flash oder einer anderen Dritt-Software, die Apple mit ausliefert, wird Apple angerechnet.

Microsoft ist fein raus, weil sie beispielsweise kein Java mitliefern, denn man muß es selbst nachinstallieren. Java betrafen 2010 bei Apple 17% aller ausgelieferten Patches laut Secunias Datenbank. Keiner der Java- oder Flash-Fehler in 2010 wurde jedoch Windows 7 zugerechnet nur weil Microsoft die Bugfixes dafür nicht selber ausliefert. Ist das eine schräge Zählung oder bin ich der einzige, der das komisch findet?

Generell schlampig

Secunia ist bezüglich Vergleichen generell zu schlampig: Sämtliche Fehler, die ihnen jemals in OS X bekannt wurden, werden zusammengerechnet. Aber Fehler in Windows werden pro Version gezählt, weil Microsoft das Produkt immer umbenennt. So werden XP, Vista und 7 alle getrennt gezählt. Ein Vergleich von einem frisch umbenannten Produkt mit OS X muß dann natürlich schlecht für OS X ausgehen. Es wäre besser, wenn Secunia nach Code-Basis trennt und nicht nach Produkten.

Fazit

Secunias Bericht ist ein Musterbeispiel für Falschaussagen, die man mit unbrauchbaren Statistiken aufstellen kann. Ungleiche Zählweise, Mischen von Fehlerarten, Mitzählen von behobenen Problemen, Zurechnen von Fremdverschulden sind die auffälligsten Gründe, die ich oben beschrieben habe, die dazu führen, daß der Bericht Fehlurteile provoziert. Secunia widerspricht sich in dem Bericht auch selbst, denn sie veröffentlichen etwas als Vergleich, das nach Aussage im selben Bericht überhaupt nicht als Vergleich taugt. Was also soll diese völlig sinnfreie Datenmüllkippe? Jeder Betriebswirt im ersten Semester müßte sich bei solch einer sinnfreien Statistik vor Lachen auf die Schenkel klopfen.

Was können wir aus der Geschichte lernen? Alle Seiten im Netz, die diesen Bericht ungeprüft für voll genommen und dumpfe Schlagzeilen damit verkauft haben ohne auch nur ansatzweise die Plausibilität zu überprüfen von dem, was sie da aufgetischt bekommen von Secunia, sollten in Zukunft gemieden werden, wenn man verläßliche Informationen lesen möchte. Schämt Euch!

Es gibt nur wenige Ausnahmen im Netz. Mein Dank geht an AppleInsider.

---