Programmierfehler mit fatalen Folgen: die teuersten Bugs aller Zeiten

Von Ariane 5 und Therac-25 bis CrowdStrike: was berühmte Softwarefehler über Tests, Deployment und Verantwortung lehren
Aktualisiert:
Abstract
- #Programmierfehler
- #Softwareentwicklung
- #Y2K
- #Katastrophen
- #Bugs
- #Technologiegeschichte
- #Softwarequalität
- #Deployment
- #CrowdStrike
Ein Überlauf, eine falsche Einheit, ein vergessener Server: Warum kleine Fehler große Schäden anrichten und wie Teams sie abfangen
Am Morgen des 19. Juli 2024 zeigten weltweit Millionen Windows-Rechner einen blauen Bildschirm. Flughäfen schrieben Bordkarten von Hand, Krankenhäuser verschoben Operationen, Supermarktkassen standen still. Auslöser war kein Cyberangriff, sondern ein fehlerhaftes Update der Sicherheitssoftware Falcon von CrowdStrike. Eine Konfigurationsdatei, die das Programm nicht korrekt verarbeiten konnte, reichte aus.
Der Vorfall reiht sich in eine lange Liste ein. Softwarefehler haben Raketen zerstört, Raumsonden verloren, Patienten getötet und Unternehmen in den Ruin getrieben. Die Fälle sind gut dokumentiert, weil Untersuchungskommissionen sie aufgearbeitet haben. Lehrreich sind sie vor allem deshalb, weil fast nie ein einzelner Programmierer schuld war. Meist versagte eine Kette aus Annahmen, fehlenden Tests und Prozessen, die den Fehler nicht abfingen.
Ariane 5: ein Überlauf nach 37 Sekunden
Am 4. Juni 1996 startete die neue europäische Trägerrakete Ariane 5 zu ihrem Erstflug. Rund 37 Sekunden nach dem Zünden kippte sie aus der Bahn, brach auseinander und zerstörte sich selbst. An Bord waren vier Forschungssatelliten der Mission Cluster.
Die Untersuchungskommission fand die Ursache im Trägheitsnavigationssystem, das die Lage der Rakete bestimmt. Dessen Software stammte weitgehend unverändert aus der Vorgängerin Ariane 4. Eine Funktion wandelte einen Wert für die horizontale Geschwindigkeit von einer 64-Bit-Gleitkommazahl in eine 16-Bit-Ganzzahl um. Eine 16-Bit-Ganzzahl fasst nur Werte bis 32.767. Für die Flugbahn der Ariane 4 reichte das, die schnellere Ariane 5 erzeugte größere Werte. Die Umwandlung lief über, das System meldete einen Fehler und schaltete sich ab, ebenso das baugleiche Reservesystem. Der Bordrechner interpretierte die Diagnosedaten als Flugdaten und steuerte die Düsen voll aus.
Bitter daran: Die betroffene Funktion wurde nach dem Start gar nicht mehr gebraucht. Und niemand hatte die Software mit den Flugdaten der Ariane 5 getestet, weil sie sich auf der Ariane 4 bewährt hatte. Die Lehre gilt bis heute: Wiederverwendeter Code bringt die Annahmen seiner alten Umgebung mit. Wer ihn in einen neuen Kontext verpflanzt, muss diese Annahmen prüfen, nicht nur den Code.
Mars Climate Orbiter: Pfund statt Newton
Im September 1999 sollte der Mars Climate Orbiter der NASA in eine Umlaufbahn um den Mars einschwenken. Stattdessen kam die Sonde dem Planeten viel zu nahe und ging verloren. Vermutlich verglühte sie in der Atmosphäre oder wurde zurück ins All geschleudert.
Die Ursache war eine Einheitenverwechslung. Eine Software des Herstellers Lockheed Martin lieferte Werte für die Wirkung der Steuerdüsen in der US-Einheit Pfund-Sekunden. Die Navigationssoftware des Jet Propulsion Laboratory erwartete Newton-Sekunden, wie in der Schnittstellenbeschreibung festgelegt. Ein Pfund-Kraft entspricht etwa 4,45 Newton. Über Monate summierten sich die kleinen Abweichungen bei den Kurskorrekturen, bis die Sonde nach späteren Berechnungen nur noch rund 57 Kilometer über der Oberfläche vorbeiflog, weit unter der geplanten Höhe.
Auffällig ist, dass es Warnzeichen gab. Navigatoren bemerkten Abweichungen, die Meldungen führten aber nicht zu einer gründlichen Prüfung. Für heutige Teams ist die Lehre zweigeteilt. Technisch helfen Typen, die Einheiten tragen, statt nackter Zahlen, etwa eine Klasse Impuls statt eines double. Organisatorisch braucht es Schnittstellentests zwischen Teams und Firmen, gerade dort, wo jeder annimmt, der andere halte sich an die Spezifikation.
Therac-25: Software ohne Sicherheitsnetz
Zwischen 1985 und 1987 verabreichte das Bestrahlungsgerät Therac-25 in mehreren Kliniken in den USA und Kanada massive Überdosen. Mindestens sechs Unfälle sind dokumentiert, mehrere Patienten starben. Die Informatikerin Nancy Leveson hat den Fall später ausführlich aufgearbeitet, er gehört heute zum Standardstoff in Kursen zu sicherheitskritischer Software.
Technisch spielten mehrere Fehler zusammen. Einer war eine Race Condition, also ein Fehler, der nur bei einer bestimmten zeitlichen Abfolge auftritt: Gab eine Bedienerin ihre Einstellungen sehr schnell ein und korrigierte sie, übernahm die Software die Änderung nicht vollständig. Das Gerät strahlte dann mit hoher Energie, ohne dass das dafür nötige Bauteil im Strahlengang stand. Die Vorgängermodelle hatten mechanische Sperren, die genau das verhinderten. Beim Therac-25 verließ sich der Hersteller allein auf die Software. Fehlermeldungen wie „Malfunction 54“ erklärten nichts, und Bediener lernten, sie zu übergehen.
Die Lehre reicht über Medizintechnik hinaus. Software allein ist kein Sicherheitskonzept. Wo Fehler Menschen gefährden, braucht es unabhängige Schutzebenen, verständliche Fehlermeldungen und eine ernsthafte Untersuchung jedes Vorfalls statt der Annahme, der Bediener habe sich vertan.
Knight Capital: 460 Millionen Dollar in 45 Minuten
Am 1. August 2012 startete die New Yorker Börse ein neues Programm für Privatanlegeraufträge, das Retail Liquidity Program. Der Wertpapierhändler Knight Capital hatte seine Handelssoftware dafür angepasst. Bei der Installation wurde der neue Code jedoch nur auf sieben von acht Servern ausgerollt. Auf dem achten lag noch alter Code einer längst stillgelegten Funktion namens „Power Peg“. Das neue Programm verwendete ein Steuerflag wieder, das früher diese alte Funktion aktiviert hatte.
Mit Handelsbeginn schickte der achte Server unkontrolliert Aufträge an den Markt. Laut der späteren Untersuchung der US-Börsenaufsicht SEC führte das System in rund 45 Minuten etwa vier Millionen Transaktionen aus. Am Ende stand ein Verlust von mehr als 460 Millionen Dollar. Knight brauchte eine Notfinanzierung und fusionierte im Juli 2013 mit dem Handelshaus Getco.
Kaum ein Fall zeigt so deutlich, dass Deployment Teil der Softwarequalität ist. Drei Fehler kamen zusammen: toter Code, der nie entfernt worden war, ein wiederverwendetes Flag mit alter Bedeutung und eine manuelle Installation ohne Kontrolle, ob alle Server denselben Stand hatten. Heute würden automatisierte Deployments, Prüfungen der ausgerollten Version und ein Notschalter, der den Handel sofort stoppt, den Schaden zumindest stark begrenzen.
CrowdStrike 2024: ein Update für die ganze Welt
Der Ausfall vom Juli 2024 ist der jüngste große Fall und vermutlich der mit der größten Reichweite. CrowdStrike verteilte an jenem Morgen eine Inhaltsaktualisierung für seinen Falcon-Sensor, eine sogenannte Channel File. Solche Dateien enthalten Erkennungsregeln und werden häufig und ohne Zutun der Kunden verteilt. Der Sensor läuft auf Windows im Kernel, also im privilegierten Kern des Betriebssystems. Ein Fehler dort reißt nicht nur ein Programm, sondern das ganze System mit.
Laut der Ursachenanalyse von CrowdStrike erwartete die neue Regelvorlage mehr Eingabefelder, als der Sensor tatsächlich lieferte. Beim Auswerten las der Code über das Ende eines Speicherbereichs hinaus, Windows stürzte ab, und zwar bei jedem Neustart erneut. Microsoft schätzte die Zahl der betroffenen Windows-Geräte auf rund 8,5 Millionen. CrowdStrike zog das Update nach gut einer Stunde zurück, doch viele Rechner mussten Administratoren einzeln von Hand reparieren, teils mit BitLocker-Wiederherstellungsschlüsseln für die verschlüsselte Festplatte.
Die Lehren sind gut übertragbar:
- Gestaffelt ausrollen: Ein Update erst auf einen kleinen Teil der Systeme verteilen und beobachten, bevor alle es erhalten (Canary-Release). CrowdStrike hat angekündigt, das auch für Inhaltsaktualisierungen einzuführen.
- Daten wie Code behandeln: Konfigurationen und Regeldateien können ein System genauso zum Absturz bringen wie Programmcode. Sie brauchen Validierung und Tests.
- Eingaben nie blind vertrauen: Der Code hätte die Feldanzahl prüfen müssen, statt sie vorauszusetzen. Speichersichere Sprachen wie Rust verhindern solche Lesezugriffe außerhalb des gültigen Bereichs bereits beim Kompilieren oder zur Laufzeit. Wann sich ein Umstieg lohnt, behandeln wir in der Beratung zur Migration nach Rust.
- Wiederherstellung planen: Unternehmen, die Rechner per Fernzugriff neu starten oder Wiederherstellungsschlüssel schnell finden konnten, waren deutlich früher wieder arbeitsfähig.
Post Office Horizon: wenn man dem Computer mehr glaubt als Menschen
Weniger spektakulär, aber menschlich verheerender ist der Fall des britischen Post Office. Nach einer Pilotphase ab 1996 führte es bis 2000 in allen Filialen das Buchhaltungssystem Horizon von Fujitsu ein. Das System zeigte immer wieder Fehlbeträge in den Kassen der selbstständigen Filialbetreiber an. Das Post Office ging von Diebstahl oder Betrug aus und brachte über Jahre hunderte Betreiberinnen und Betreiber vor Gericht. Viele verloren ihr Vermögen, einige kamen ins Gefängnis.
2019 stellte ein Gericht in London fest, dass Horizon Fehler enthielt, die solche Fehlbeträge erzeugen konnten. 2024 hoben eigene Gesetze für England, Wales und Nordirland sowie für Schottland die Verurteilungen pauschal auf. Eine öffentliche Untersuchung arbeitet den Fall seit 2020 auf.
Der Kern des Problems war kein einzelner Bug, sondern die Haltung, das System sei zuverlässig, solange niemand das Gegenteil beweise. Für Unternehmen heißt das: Wer Entscheidungen über Menschen auf Softwaredaten stützt, braucht nachvollziehbare Protokolle, einen Weg, Fehler zu melden, und die Bereitschaft, dem System zu misstrauen. Das gilt heute genauso für KI-gestützte Entscheidungen.
Boeing 737 MAX: korrekt programmiert, falsch entworfen
Bei den Abstürzen von Lion Air im Oktober 2018 und Ethiopian Airlines im März 2019 starben 346 Menschen. Beteiligt war die Steuerungssoftware MCAS, die die Flugzeugnase automatisch nach unten drückt, wenn sie einen zu steilen Anstellwinkel misst. Sie stützte sich dabei auf nur einen von zwei Sensoren. Lieferte dieser falsche Werte, griff MCAS wiederholt ein, und die Besatzungen kannten das System kaum.
Der Fall zeigt eine unbequeme Wahrheit: Software kann exakt das tun, was die Spezifikation verlangt, und trotzdem gefährlich sein. Fehler entstehen nicht nur im Code, sondern in Anforderungen, Risikobewertungen und Schulung. Tests gegen die Spezifikation finden solche Fehler nicht, wenn die Spezifikation selbst falsch ist.
Kleine Designentscheidungen, lange Nachwirkung
Manche Fehler verursachen keinen spektakulären Unfall, sondern über Jahrzehnte viele kleine Schäden.
Das Jahr-2000-Problem
In den 1960er- und 1970er-Jahren war Speicher teuer. Viele Programme, etwa in COBOL, speicherten Jahreszahlen deshalb nur zweistellig: „70“ statt „1970“. Was zunächst vernünftig war, wurde gegen Ende des Jahrhunderts zum Risiko, weil „00“ als 1900 gelesen werden konnte. Der Informatiker Bob Bemer warnte schon früh vor dem Problem. Die großflächige Sanierung begann erst in den 1990er-Jahren. Die Schätzungen der weltweiten Kosten gehen weit auseinander, von rund 600 Milliarden bis über 1,6 Billionen Dollar.
Als am 1. Januar 2000 kaum etwas ausfiel, hielten viele die Aufregung für übertrieben. Das ist das Paradox der Prävention: Gelungene Vorsorge sieht im Nachhinein wie unnötiger Aufwand aus. Ein ähnliches Problem steht übrigens noch bevor. Systeme, die Zeit als vorzeichenbehaftete 32-Bit-Zahl in Sekunden seit 1970 speichern, laufen am 19. Januar 2038 über.
Der „Milliarden-Dollar-Fehler“ Null
Der britische Informatiker Tony Hoare führte 1965 in der Sprache ALGOL W die Nullreferenz ein, einen Zeiger, der auf nichts zeigt. 2009 nannte er das auf einer Konferenz seinen „Milliarden-Dollar-Fehler“. Ihre Folgen kennen Entwickler:innen bis heute als NullPointerException in Java und NullReferenceException in .NET. Neuere Sprachen ziehen die Konsequenz: Kotlin, Swift und Rust unterscheiden im Typsystem zwischen Werten, die fehlen dürfen, und solchen, die immer vorhanden sind. C# hat das mit Nullable Reference Types nachgerüstet.
JavaScript und die Eile von 1995
Brendan Eich entwarf JavaScript 1995 für den Netscape-Browser in etwa zehn Tagen. Einige Eigenheiten aus dieser Zeit lassen sich wegen der Abwärtskompatibilität bis heute nicht entfernen. Die lockere Typumwandlung führt zu Ergebnissen wie [] == ![], das true ergibt, und typeof NaN liefert "number". Teams umgehen das mit dem strikten Vergleich === und mit TypeScript. Katastrophal ist das nicht, aber es zeigt, wie lange schnelle Entscheidungen in einer erfolgreichen Technik nachwirken.
Stanislaw Petrow: wenn ein Mensch dem System widerspricht
Nicht jede Geschichte endet mit einem Schaden. In der Nacht zum 26. September 1983 meldete das sowjetische Frühwarnsystem Oko den Start mehrerer US-Interkontinentalraketen. Der diensthabende Offizier Stanislaw Petrow sollte solche Meldungen an die Führung weitergeben, die über einen Gegenschlag zu entscheiden hatte. Petrow hielt den Alarm für unplausibel, unter anderem weil ein echter Angriff kaum mit nur wenigen Raketen beginnen würde, und meldete einen Fehlalarm.
Er behielt recht. Später stellte sich heraus, dass die Satelliten Sonnenlicht, das von hohen Wolken reflektiert wurde, als Raketenstarts gedeutet hatten. Der Fall ist das Gegenstück zu Horizon: Hier verhinderte gerade das Misstrauen gegenüber dem System eine Katastrophe. Für automatisierte Systeme heißt das, Menschen nicht nur formal in der Entscheidung zu halten, sondern ihnen auch die Informationen und die Autorität zu geben, einem Ergebnis zu widersprechen.
Was Teams aus den Fällen lernen können
So verschieden die Fälle sind, die Muster wiederholen sich. Selten war ein einzelner Tippfehler die Ursache. Fast immer fehlte eine zweite Verteidigungslinie: ein Test mit realistischen Daten, eine Prüfung beim Deployment, eine Hardware-Sperre, ein Mensch, der zweifeln durfte.
Daraus ergeben sich Regeln, die für einen Webshop genauso gelten wie für eine Rakete:
- Annahmen sichtbar machen und testen. Wertebereiche, Einheiten und Formate gehören in Typen, Validierungen und Tests, nicht in die Köpfe einzelner Entwickler:innen. Wie testgetriebene Entwicklung dabei hilft, beschreibt unser Beitrag zu Test-Driven Development.
- Deployment automatisieren und staffeln. Gleiche Versionen auf allen Systemen, schrittweise Verteilung, schneller Rückweg. Kleine, häufige Änderungen sind leichter zu kontrollieren als große, wie der Beitrag über kleine Schritte in der Softwareentwicklung zeigt.
- Toten Code und alte Schalter entfernen. Was nicht mehr gebraucht wird, kann auch nicht versehentlich wieder aktiv werden.
- Konfiguration und Daten wie Code prüfen. Regeldateien, Feature-Flags und Konfigurationen brauchen Reviews und Tests.
- Sicherheitskritisches mehrfach absichern. Wo Menschen zu Schaden kommen können, reicht eine Softwareschicht nicht.
- Warnsignale ernst nehmen. Bei Therac-25, dem Mars Climate Orbiter und Horizon gab es frühe Hinweise. Eine Kultur, in der Fehlermeldungen untersucht statt weggeklickt werden, ist günstiger als jede spätere Untersuchungskommission.
Unsere Einschätzung: Mit KI-Assistenten entsteht Code heute schneller als je zuvor. Das verschiebt das Risiko weiter in Richtung Prüfung, Test und Betrieb. Die Fälle aus 30 Jahren Softwaregeschichte zeigen, dass gerade dort die teuersten Fehler durchrutschen.
Häufige Fragen zu Softwarefehlern
Welcher Softwarefehler war der teuerste?
Eine eindeutige Antwort gibt es nicht, weil Schäden unterschiedlich gemessen werden. Das Jahr-2000-Problem verursachte die höchsten Kosten, allerdings für die Vorsorge, nicht für einen eingetretenen Schaden. Unter den tatsächlichen Ausfällen gilt der CrowdStrike-Vorfall von 2024 wegen seiner Reichweite als einer der teuersten. Belastbare Gesamtsummen gibt es dafür aber nicht.
Können Programmierfehler Menschen töten?
Ja. Beim Bestrahlungsgerät Therac-25 starben in den 1980er-Jahren Patienten durch Überdosen, die ein Softwarefehler mitverursacht hatte. Bei den Abstürzen der Boeing 737 MAX war eine fehlerhaft ausgelegte Steuerungssoftware beteiligt. Deshalb gelten für Medizintechnik, Luftfahrt und Fahrzeuge strenge Normen für die Softwareentwicklung.
Wie können Unternehmen teure Softwarefehler vermeiden?
Ganz vermeiden lassen sie sich nicht. Unternehmen können aber die Wahrscheinlichkeit und vor allem den Schaden begrenzen: mit automatisierten Tests auf mehreren Ebenen, Code-Reviews, statischer Codeanalyse, automatisierten und gestaffelten Deployments, Monitoring und einem geübten Notfallplan. Ebenso wichtig ist eine Kultur, in der Fehler offen gemeldet werden können.
Sind KI-generierter Code und automatisierte Updates ein neues Risiko?
Sie verändern das Risiko eher, als dass sie ein völlig neues schaffen. KI-generierter Code kann dieselben Fehler enthalten wie menschlicher Code und wirkt dabei oft überzeugend. Automatische Updates verteilen Fehler schneller. Beides spricht für dieselben Gegenmittel: Reviews, Tests und eine schrittweise Verteilung.
Kategorien