Was ein Sprachmodell nicht weiss

Ein Modell kennt die Welt bis zu einem Stichtag, kennt Ihr Haus gar nicht und merkt nicht, wenn es etwas nicht weiss. Was daraus im Bau folgt.

Sprachmodelle klingen so, als wüssten sie alles. Tatsächlich haben sie drei sehr konkrete Wissenslücken, und alle drei lassen sich im Bau berücksichtigen, wenn man sie kennt.

Lücke eins: alles nach dem Stichtag

Ein Modell lernt aus Material bis zu einem bestimmten Zeitpunkt. Was danach passiert ist, kennt es nicht. Fragen zu aktuellen Fristen, Beiträgen, Zuständigkeiten oder Gesetzesständen gehören deshalb nie an das blosse Modellwissen, sondern an eine Quelle mit Datum.

Lücke zwei: alles über Ihr Haus

Ihre Reglemente, Ihre Abläufe, Ihre Zuständigkeiten sind nirgends im Trainingsmaterial. Ein Modell, das danach gefragt wird, liefert die statistisch wahrscheinlichste Antwort, und die klingt wie eine Auskunft aus einer durchschnittlichen Organisation. Genau deshalb steht vor der Antwort die Suche in Ihren Unterlagen.

Lücke drei: die eigene Unsicherheit

Das ist die unangenehmste. Ein Modell erkennt nicht zuverlässig, wann es etwas nicht weiss. Es gibt keine innere Anzeige, die von «gelernt» auf «geraten» umspringt. Der Ton bleibt gleich, die Satzstruktur bleibt gleich, nur der Inhalt ist erfunden.

Deshalb wird Verlässlichkeit nicht im Modell hergestellt, sondern um das Modell herum: Quelle davor, Prüfung danach, Freigabe zuletzt.

Was das praktisch heisst

  • Fragen mit Zeitbezug laufen gegen eine datierte Quelle, nicht gegen das Gedächtnis des Modells.
  • Fragen zum eigenen Haus laufen gegen die eigenen Unterlagen, mit Fundstelle in der Antwort.
  • Öffentliche, aktuelle Information kommt aus einer gezielten Suche, nicht aus dem Modell.
  • Antworten ohne Belegstelle werden gar nicht erst ausgeliefert.

Der Irrtum, der am meisten Geld kostet

Die Annahme, ein neueres oder grösseres Modell schliesse diese Lücken. Es schliesst die erste ein Stück weit und verschiebt den Stichtag. Die zweite und die dritte bleiben, unabhängig von Grösse, Preis und Anbieter. Wer darauf wartet, dass das nächste Modell das Problem löst, wartet auf etwas, das strukturell nicht kommt.

Fazit: Wissen holt man, man hofft es nicht

Ein Modell ist ein sehr guter Formulierer und ein unzuverlässiger Zeuge. Wer es als Formulierer einsetzt und das Wissen daneben stellt, bekommt verlässliche Auskünfte. Wer es als Wissensquelle einsetzt, bekommt Sätze, die immer gut klingen und manchmal stimmen.