Die meisten gescheiterten KI-Vorhaben scheitern nicht an der Technik, sondern daran, dass niemand vorher gemessen hat, wie gut das Ergebnis sein muss. Ein Machbarkeitstest ist der billigste Zeitpunkt, um das herauszufinden.
Vier Wochen mit echten Fällen
Ein Test dauert bei uns rund vier Wochen und beginnt mit einem echten Stapel Fälle aus Ihrem Alltag, nicht mit ausgewählten Beispielen. Dazu gehört die unangenehme Vorarbeit: Wir brauchen von Ihnen zu einem Teil dieser Fälle die richtige Antwort, so wie sie eine erfahrene Person geben würde. Ohne diesen Massstab ist jede spätere Aussage über Qualität Geschmackssache.
Die drei Zahlen am Ende
Am Ende stehen drei Werte, die miteinander gelesen werden müssen:
- Trefferquote. In wie vielen Fällen ist das Ergebnis ohne Änderung brauchbar, in wie vielen mit kleiner Korrektur, in wie vielen gar nicht.
- Kosten pro Fall. Was eine Anfrage in Rechenleistung kostet, hochgerechnet auf die erwartete Menge, mit der Kostengrenze je Aufgabe.
- Aufwand für die Unterlagen. Wie viel Ordnungsarbeit an den Dokumenten nötig ist, damit die Trefferquote überhaupt erreicht wird. Das ist erfahrungsgemäss der grösste Posten und der am häufigsten vergessene.
Die Grenzen des Tests
Er sagt nichts über Akzeptanz. Ob eine Anwendung benutzt wird, entscheidet sich daran, ob sie im bestehenden Arbeitsweg liegt, und nicht an ihrer Trefferquote. Er sagt auch nichts über den Betrieb in zwei Jahren, weil sich Modelle und Preise schneller ändern als Ihre Abläufe. Dagegen hilft nur die Bauweise: umstellbare Modellwahl statt fester Bindung.
Wann wir abraten
Ein Ergebnis eines Machbarkeitstests kann sein, dass Sie keine KI brauchen. Drei Fälle, in denen wir regelmässig abraten:
- Die Aufgabe hat eine eindeutige Regel und braucht kein Sprachverständnis. Dann ist eine gewöhnliche Automatisierung günstiger, schneller und exakt.
- Die nötigen Unterlagen existieren nur in Köpfen. Was nirgends geschrieben steht, kann auch nicht gefunden werden.
- Die Fehlerkosten sind hoch und die Menge klein. Wo zehn Fälle im Monat anfallen und jeder Fehler teuer ist, lohnt sich der Aufbau nicht.
Uns ist ein abgesagtes Projekt lieber als eines, das nach einem halben Jahr still eingeschlafen ist.
Wer dabei sein muss
Ein Machbarkeitstest gelingt oder scheitert an der Besetzung. Es braucht eine Fachperson, die die Aufgabe täglich macht, jemanden mit Zugriff auf die Unterlagen und eine Person, die entscheiden darf, ob das Ergebnis genügt. Wird der Test einer Stabsstelle überlassen, die die Arbeit nur beschreiben kann, misst er etwas, das es im Betrieb nicht gibt. Zwei bis drei Halbtage dieser Leute sind der ganze Aufwand auf Ihrer Seite, und sie sind unersetzlich.
Fazit: Messen kostet weniger als glauben
Vier Wochen mit echten Fällen bringen mehr Klarheit als jede Produktvorführung, und sie kosten einen Bruchteil einer Einführung. Wer danach weitergeht, weiss, was er bekommt. Wer abbricht, hat sich ein Vielfaches gespart.
