Ein Ablauf aus mehreren KI-Schritten hat ein unangenehmes Merkmal: Jeder Schritt glaubt dem vorherigen. Ein Fehler im zweiten Schritt wird im dritten zur Tatsache und im vierten zur Begründung. Dagegen hilft ein Agent, der nichts tut, ausser zu prüfen.
Ein Schritt neben der Kette
Ein Wächter ist ein eigener Schritt neben der Kette, nicht in ihr. Er bekommt dasselbe Material wie der Schritt, den er beobachtet, dazu die Regeln, die gelten sollen. Er liefert keine Verbesserung, sondern ein Urteil mit Begründung: Diese Aussage steht so nicht in der Quelle. Dieser Betrag weicht vom Reglement ab. Dieser Text spricht eine Person an, die im Auftrag gar nicht vorkommt.
Drei Eigenschaften, ohne die es nicht funktioniert
- Der Wächter hat keine Werkzeuge. Er darf nicht schreiben, nicht versenden, nichts in ein System eintragen. Sonst wird aus der Kontrolle ein zweiter Akteur, der eigene Fehler produziert.
- Der Wächter sieht den Auftrag, nicht nur das Ergebnis. Wer nur den fertigen Text prüft, findet Stilfehler. Wer Auftrag, Quellen und Ergebnis nebeneinander hat, findet die Abweichung.
- Der Wächter läuft auf einem anderen Modell. Dasselbe Modell wiederholt gern denselben Denkfehler und bestätigt sich selbst. Zwei verschiedene Modelle widersprechen sich häufiger, und genau dieser Widerspruch ist das Nützliche daran.
Ein Wächter, der selbst handeln darf, ist kein Wächter mehr, sondern ein zweiter Akteur mit eigenen Fehlern.
Der Preis eines Mitlesers
Ein Wächter, der bei jedem Schritt mitläuft, verdoppelt im schlimmsten Fall die Kosten des Ablaufs. Das ist selten nötig. In der Praxis genügt es, ihn an die Stellen zu setzen, an denen ein Fehler teuer wird: vor der Freigabe, vor einer Eintragung ins Zielsystem, vor jedem Schritt, der etwas nach aussen gibt. Weil er nur beurteilt und nicht erzeugt, reicht ihm ausserdem oft ein kleineres und günstigeres Modell als dem Schritt, den er beobachtet.
Wer entscheidet, wenn der Wächter Alarm schlägt
Nicht der Wächter. Seine Meldung landet als Hinweis an der Freigabestelle, zusammen mit dem Vorschlag der Kette. Die Person, die freigibt, sieht beides und entscheidet. Automatisch abgebrochen wird nur, was ohnehin verboten ist: eine Datenklasse, die im Ablauf nichts zu suchen hat, oder ein Empfänger ausserhalb des erlaubten Kreises.
Fazit: Kontrolle gehört in den Ablauf, nicht in die Absicht
Die Zusage «unsere Mitarbeitenden schauen das natürlich an» hält genau so lange, wie es wenige Fälle sind. Ein Wächter macht die Prüffrage zu einem Schritt, der auch am Freitagnachmittag stattfindet. Er ersetzt den Menschen nicht, er sorgt dafür, dass der Mensch die richtige Stelle anschaut.
