Wie Sie den tatsächlichen Wert eines KI-Programms messen

KI-Programme berichten oft über die Zahl der Nutzenden, die aktiven Lizenzen, die erzeugten Inhalte oder eine Schätzung der eingesparten Stunden. Diese Zahlen beschreiben Aktivität; sie beweisen keinen Wert für das Unternehmen.

Wert entsteht, wenn KI ein Ergebnis verändert, das zählt: bearbeitetes Volumen, Durchlaufzeit, Qualität, Risiko, Umsatz, Kosten, Kapazität oder Qualität der Entscheide. Um ihn zu messen, braucht es einen Ausgangswert und einen glaubwürdigen Zusammenhang zwischen dem, was eingeführt wurde, und dem, was sich verändert hat. Dieser Artikel richtet sich an Geschäftsleitungen, die mehrere Projekte steuern; für eine erste Anwendung in einem KMU genügt der Leitfaden zum ROI.

Den Wirkmechanismus beschreiben, bevor Sie messen

Gehen Sie vom Engpass im Geschäft aus, nicht von der Technologie. Eine brauchbare Beschreibung besteht aus vier Elementen:

1. der Prozess, in dem die Lösung eingreift;
2. der Mechanismus: was sich an der Arbeitsweise ändert;
3. das Ergebnis: welche Kennzahl sich verbessern soll;
4. die wirtschaftliche Übersetzung: warum dieses Ergebnis finanziell oder strategisch zählt.

Beispiel: Ein besserer Zugang zu freigegebener technischer Dokumentation verringert wiederholte Diagnosen, verkürzt die Lösungszeit und entlastet die Fachleute für die schwierigen Fälle.

Zwischen Aktivität und Wert ist die Kette länger, als man denkt: Ein Zugang wird geöffnet; die Person ändert ihre Arbeitsweise; die Aufgabe wird anders erledigt; der Prozess liefert ein anderes Ergebnis; dieses Ergebnis hat eine finanzielle Wirkung; ein Teil dieser Wirkung kommt tatsächlich beim Unternehmen an. Ein Assistent, der Zeit beim Auffinden einer Vertragsklausel spart, schafft nur dann Wert, wenn diese Zeit sinnvoll genutzt wird, die Qualität der Klausel stimmt und sich die Arbeit nicht einfach in die Prüfung verschiebt.

Vor der Einführung messen

Messen Sie den heutigen Prozess anhand der Daten aus Ihrer Software, ergänzt durch eine Stichprobe, wo diese unvollständig sind: Volumen, Zeit pro Schritt, Wartezeit, nachgebesserte Arbeit, Eskalationen, Fehler, Qualität, Aufwand der Nutzenden. Dokumentieren Sie die Unsicherheit: Eine vertretbare Bandbreite ist mehr wert als eine genaue Zahl, die auf wackligen Annahmen beruht.

Drei Ebenen von Kennzahlen

Vermischen Sie die Ebenen nicht, sonst präsentiert am Ende jedes Team diejenige, die ihm passt.

• Nutzungskennzahlen zeigen, ob sich der Mechanismus etabliert: betroffene Nutzende, die das Tool verwenden, Anteil der abgedeckten Aufgaben, wiederholte Nutzung, Korrekturquote. Eine hohe Korrekturquote ist während eines begleiteten Pilotprojekts normal; bedenklich ist sie, wenn sie danach nicht sinkt.
• Prozesskennzahlen zeigen, ob sich die Arbeitsweise verändert hat: Durchlaufzeit, Wartezeit, Übergaben, nachgebesserte Arbeit, Ausnahmen, menschlicher Aufwand pro Vorgang. Hier zeigt sich eine echte Veränderung oft zuerst.
• Ergebniskennzahlen zeigen, ob sich das Unternehmensergebnis bewegt hat: Kosten pro Vorgang, bearbeitetes Volumen, frei gewordene Kapazität, Kundenzufriedenheit, vermiedene Verluste, Umsatz. Sie reagieren langsamer und schwanken stärker, aber genau sie erwartet ein Investitionsgremium.

Halten Sie für jede Kennzahl fest: verantwortliche Person, Definition, Quelle, Häufigkeit, Referenzperiode, Zielwert und Faktoren, die die Auswertung verfälschen können.

Bruttowert, Nettowert und tatsächlich erzielter Wert

Der häufigste Fehler ist, theoretisch gewonnene Zeit wie Geld zu behandeln. Unterscheiden Sie drei Ebenen:

Fünfhundert frei gewordene Stunden in einem Team ohne Arbeitsrückstand, ohne vermiedene Neueinstellung und ohne Plan, sie anders einzusetzen, sind ein Bruttowert, kaum mehr. Umgekehrt kann eine Qualitätsverbesserung, die den Verlust eines Kunden verhindert, viel wert sein, auch wenn die gewonnene Zeit gering ist.

Ein Nachweis, der zur Grösse des Entscheids passt

Nicht jede Initiative braucht ein kontrolliertes Experiment. Für einen günstigen internen Versuch kann ein Vorher-nachher-Vergleich mit schriftlich festgehaltenen Grenzen genügen. Eine bedeutende organisatorische Veränderung verdient eine Vergleichsgruppe, eine gestaffelte Einführung oder einen kontrollierten Test an Aufgaben.

Verfolgen Sie mindestens Volumen, Personalbestand, saisonale Schwankungen, andere Veränderungen im Prozess und die Version des Tools. Schlüsseln Sie die Ergebnisse nach Art des Vorgangs auf: Eine durchschnittliche Verbesserung kann einen Gewinn bei einfachen Fällen und eine Verschlechterung bei komplexen verbergen, und der Entscheid muss dem Detail folgen, nicht dem Durchschnitt. Ergänzen Sie durch Beobachtung: Schauen Sie sich eine Stichprobe von Erfolgen, Misserfolgen und Korrekturen an, und fragen Sie die Nutzenden, welche Arbeit weggefallen und welche Prüfarbeit neu hinzugekommen ist.

Schwellen zum Ausweiten, Anpassen oder Stoppen

Im Voraus festgelegt, verhindern diese Schwellen zwei Fehler: ein beliebtes Tool auszuweiten, das nichts bringt, und einen guten Mechanismus aufzugeben, weil seine erste Umsetzung schwach war.

Jeden Monat entscheiden

Messung wird nützlich, wenn sie verändert, was das Portfolio tut. Eine monatliche Überprüfung kann pro Initiative auf eine Seite passen:

1. Jahreswert beim heutigen Tempo, verglichen mit der Prognose;
2. Nutzungs-, Prozess- und Ergebniskennzahlen;
3. Qualität, Kontrollen und Vorfälle;
4. Gesamtkosten und Kosten pro erledigtem Vorgang;
5. Vertrauensniveau und Grenzen der Zuordnung;
6. Empfehlung: ausweiten, anpassen, stoppen oder abwarten;
7. der nächste Test und das Datum des nächsten Entscheids.

Drei unbequeme Fragen für jede Überprüfung: Was hätten wir ohne das Tool festgestellt? Welches Ergebnis hat sich im betroffenen Prozess bewegt, und nicht anderswo? Welcher Nachweis würde uns zum Stoppen bringen? Kann das Team darauf nicht antworten, misst das System noch Aktivität.

Ein Beispiel ohne Abkürzung

Nehmen wir eine Abteilung, die 1'200 Vorgänge pro Monat bearbeitet, mit durchschnittlich 42 Minuten pro Vorgang und 12 % nachgebesserten Vorgängen. Eine Unterstützung beim Suchen und Formulieren verkürzt die Schreibzeit, aber das Team muss weiterhin prüfen. Eine korrekte Analyse multipliziert nicht einfach angekündigte Minuten mit dem Jahresvolumen.

Sie prüft zuerst, ob die Durchlaufzeit sinkt, die nachgebesserten Vorgänge abnehmen, der Prüfaufwand nicht steigt und die Servicequalität hält. Danach bewertet sie nur die dauerhafte Differenz: abgebauter Arbeitsrückstand, weniger Temporärpersonal, mehr bearbeitete Vorgänge bei gleichem Personalbestand. Sie zieht die Kosten für Plattform, Integration, Prüfung und Betrieb ab. Schliesslich nennt sie eine Vertrauensbandbreite und die Bedingung, unter der der Nutzen verschwindet.

Diese Sorgfalt macht das Dossier nicht kleiner, sondern finanzierbar. Die Geschäftsleitung finanziert einen Mechanismus, den sie versteht, die Teams können ihn verbessern, und das Unternehmen kann ihn stoppen, wenn die Nachweise ausbleiben.

Wie wir helfen können

Wir richten dieses Messsystem (Ausgangsmessungen, Kennzahlen, monatliche Überprüfung) im Rahmen der KI-Begleitung ein, zum Festpreis gemäss Offerte oder im Abonnement mit drei Monaten Mindestlaufzeit. Muss für die Messung ein Agent oder eine Integration mit Messpunkten ausgestattet werden, ist das Angebot KI-Engineering zuständig. Wie diese Entscheide in ein Portfolio einfliessen, beschreibt der Artikel Wie Sie eine KI-Roadmap aufbauen.