Hi!
Es bleibt die Frage, was nun als Bug bewertet wurden.
Ein paar wenige Details stehen ja in dem von dir verlinkten Artikel: "Insgesamt, so Brumley, habe sein Team bisher etwa
22.000 Programme getestet und darin 5.000 Bugs gefunden. 53 davon seien Buffer Overflows, wovon fünf nach automatisierter Analyse einen Angriffsvektor bieten."
Davor wird wird noch erwähnt, dass die Tests Usereingaben simulieren und eingelesenen Dateien verwenden. "Mayhem simuliert den Ablauf von Programmen mit verschiedenen Eingaben durch die Kommandozeile und eingelesene Dateien und versucht dabei, Abstürze im Programm zu provozieren."
Der Test erfolgt dabei, ohne dass die Quelltexte der getesteten Programme verwendet werden(!). Ein interessanter Ansatz.
Bisher habe ich nur von automatischen Testverfahren gehört, die man auf Teile des Quelltextes loslässt oder die speziell auf wenige Geräte zugeschnitten sind und dann neue Firmware testen (Siemens hatte angeblich damals solche "Handysimulatoren" im Einsatz, die jede neue Firmware automatisch in der Hardware durchtesteten).
Im verlinkten Arrikel ist ein PDF der Hochschule verlinjt, dass bis ins Details beschreibt, wie Mayhem funktioniert und welche Tests es durchführt (und damit offenbar die zu entdeckenden Fehler festlegt: siehe Kapitel VI. Exploit Generation):
http://users.ece.cmu.edu/~arebert/papers/mayhem-oakland-12.pdf
Nein, ich sage nicht, dass ich da auch nur ansatzweise alles verstanden habe.
Bis dann
Andreas