Ein Fehler allein richtet selten Schaden an. Das ist der Ausgangspunkt eines Denkbilds, das der britische Psychologe James Reason, lange Professor an der Universität Manchester, für die Unfallforschung entwickelt hat. Er stellte sich die Sicherungen einer Organisation als hintereinandergestellte Scheiben Schweizer Käse vor. Jede Scheibe hält etwas auf, und jede hat Löcher. Zum Schaden kommt es erst, wenn die Löcher aller Scheiben zufällig auf einer Linie liegen und der Fehler ungehindert hindurchfällt.
Reason unterschied zwei Arten von Löchern. Die einen entstehen im Augenblick, eine Verwechslung, ein übersehener Posten, ein Griff daneben. Die anderen liegen lange still im System, in einer schlecht gebauten Vorlage, in einer Zuständigkeit, die nie jemand geklärt hat, in einer Frist, die allein im Kalender eines Einzelnen steht. Daran hängt seine unbequemere zweite Einsicht. Wer einen Vorfall dem Menschen zurechnet, der ihn verursacht hat, bekämpft Unaufmerksamkeit und lässt die stillen Löcher liegen. Reason hat diesem Blick auf die Person den Blick auf das System gegenübergestellt. Milde gegenüber dem Einzelnen ist damit nicht gemeint. Wer ihn haftbar macht, erfährt beim nächsten Mal eben nichts mehr.
Eine benachbarte Forschungsrichtung hat Organisationen untersucht, in denen trotz hoher Gefahr fast nie etwas Schweres geschieht, Flugzeugträger, Kernkraftwerke, die Flugsicherung. Auch dort zählt der Beinahefehler, von dem die Leitung erfährt, mehr als der, den jemand still für sich behebt.
In einer Kanzlei sind die Schutzschichten über Jahrzehnte gewachsen. Das Vieraugenprinzip, die Vorlage, das Fristenbuch, die Endkontrolle durch den, der unterschreibt, vor allem die Erfahrung dessen, der einen Entwurf gegenliest. Diese Schichten sind für den menschlichen Fehler gebaut, und der menschliche Fehler hat ein Erkennungsmerkmal. Er sieht nach Fehler aus. Der Satz stockt, die Zahl passt nicht zum Rest, der Verfasser schreibt „vermutlich“, die Fundstelle bleibt unvollständig. Ein erfahrener Prüfer liest ja gar nicht jede Zeile mit derselben Aufmerksamkeit, er liest auf Unruhe im Text.
Genau dieses Merkmal fehlt dem maschinellen Fehler. Ein Sprachmodell, das eine Gerichtsentscheidung erfindet, erfindet sie mit dem passenden Gericht, einem plausiblen Datum und einem Aktenzeichen im richtigen Format. Die Begründung ist glatt, der Ton gleichmäßig sicher, die Gliederung sauber. Ein solcher Entwurf trägt keines der Zeichen, auf die die vorhandenen Schichten anspringen, und geht durch, weil nichts reagiert. Vor Gerichten ist das inzwischen mehrfach aufgefallen, an Schriftsätzen, die sich auf Entscheidungen stützten, die es nie gegeben hat.
Reason durfte unterstellen, dass die Löcher zufällig verteilt sind und wandern. Deshalb ist ihre Überlagerung selten. Beim maschinellen Fehler trägt diese Annahme nicht mehr. Ein Mitarbeiter, der eine Rechnungsposition falsch einordnet, ordnet die nächste womöglich richtig ein; eine falsch gefasste Regel ordnet die rund einhundertsiebzig Positionen eines Monats alle gleich falsch ein. Soll obendrein derselbe Assistent, der den Entwurf erzeugt hat, ihn anschließend prüfen, stehen die Scheiben nicht mehr unabhängig hintereinander. Es ist dieselbe Scheibe zweimal, und das Bild täuscht eine Sicherheit vor, die es nicht gibt.
Daraus ergibt sich, welche Schichten neu gebaut gehören. Jede Fundstelle wird gegen die Quelle gehalten, bevor sie das Haus verlässt, gleichgültig wie überzeugend der Text darum herum wirkt. Zahlen werden gegen eine Summe geprüft, die aus einer anderen Richtung kommt. Und wo eine Aufgabe regelhaft ist, gehört sie in ein Programm mit festen Regeln und nicht in den Dialog mit einem Sprachmodell.
Für einen Klinikmandanten mit 77 Beschäftigten haben wir die Lohnabrechnung deshalb in ein eigenes Werkzeug gelegt. Es rechnet auf dem Rechner des Bearbeiters, die Lohndaten gehen an keinen fremden Server, und jeden Monat entscheidet es nach denselben Regeln. Was ein echter Fehler sein muss, eine doppelt vergebene Personalnummer oder ein Buchstabe dort, wo eine Zahl stehen muss, stoppt die Ausgabe ganz. Was bloß merkwürdig aussieht, ein Stundenwert um den Faktor zehn über dem üblichen, landet auf einer Liste zum Abhaken. Wo die Grenze zwischen beidem verläuft, ist fachliches Urteil und stammt aus der Kanzlei.
Bleibt die Zurechnung. Wird ein Fehler, der unter KI-Einsatz entstanden ist, als persönliches Versagen behandelt, hört die Leitung auf zu erfahren, wo im Haus überhaupt mit KI gearbeitet wird. Gearbeitet wird trotzdem, nur eben still. Damit verliert die Kanzlei den einzigen Rohstoff, aus dem sich die neuen Schichten bauen lassen, die Kenntnis der eigenen Beinahefehler. Im Unternehmen des Mandanten gilt das genauso, in der Buchhaltung wie im Vertrieb.
Reasons Modell stammt aus Bereichen mit einem Ereignis. Es gibt einen Absturz, eine Freisetzung, einen geschädigten Patienten, und die Rückmeldung kommt binnen Stunden. In der steuerlichen Beratung fehlt dieses Ereignis meist. Eine falsche Zuordnung fällt in einer Betriebsprüfung nach Jahren auf, oder sie fällt nie auf. Wo das Signal fehlt, sagt das Modell nichts darüber, welches Loch das wichtige ist. Es beschreibt die Struktur und schweigt zur Rangfolge.
Hinzu kommt die Rückschau. Im Nachhinein liegt die Linie klar da; vorher gibt es hunderte Löcher und keine Möglichkeit, die künftige Linie zu bezeichnen. Wer das Bild wörtlich nimmt, neigt deshalb dazu, Schichten zu stapeln. Jede kostet Zeit, und ab einer gewissen Zahl prüft niemand mehr wirklich, weil sich jeder auf die nächste verlässt.
Die härteste Grenze liegt woanders. Das Modell setzt voraus, dass feststeht, was ein Fehler ist. Ein erheblicher Teil unserer Arbeit ist Beurteilung unter Unsicherheit, bei der mehrere Ergebnisse vertretbar sind und sich erst später zeigt, welches getragen hätte. Dafür gibt es keine Scheibe. Solche Entscheidungen bleiben beim Menschen, und in eine Prüfregel bringt sie niemand.
Wer anfangen will, nimmt sich die letzten Vorgänge vor, bei denen etwas beinahe schiefgegangen wäre, und klärt für jeden, welche Schicht ihn hätte auffangen sollen und weshalb sie es nicht tat.