KI-Wirkungsmessung: Nachteile und Kritik

Sie haben KI-Lizenzen gekauft, ein paar Anwendungsfälle freigegeben und Erwartungen geweckt, und einige Monate später kommt die Frage von oben: Was bringt das eigentlich? Genau an dieser Stelle merken viele, dass die Wirkungsmessung schwerer ist, als der Vertrag vermuten liess. KI-Wirkungsmessung ist der Nachweis, ob und wo der Einsatz von KI im Arbeitsalltag Wirkung zeigt, und sie ist ein sinnvolles Instrument, aber sie hat reale Schwächen. Wer sie kennt, misst ehrlicher. Die grössten Nachteile in Kürze: die schwere Zurechnung eines Gesamtbetrags, die fehlende Baseline, die Schlagseite der Selbstauskunft, das Wort KI, das blockieren kann, und der Verlust an Zurechenbarkeit durch die Aggregation.

Auf einen Blick

• Zurechnung ist schwer: Auf der Ebene des Geschäftsergebnisses wirken viele Faktoren gleichzeitig, ein sauberer Frankenbetrag lässt sich selten allein der KI zuschreiben.
• Ohne Baseline keine Wirkung: Wer erst misst, wenn die Frage von oben schon da ist, hat keinen Vorher-Wert und kann den Nutzen nur schätzen.
• Selbstauskunft hat Schlagseite: Menschen über- oder unterschätzen ihre eigene Zeitersparnis, ohne Triangulation ist die Zahl schief.
• Das Wort KI kann blockieren: In manchen Häusern löst schon der Begriff Abwehr aus und senkt die Beteiligung.
• Aggregation kostet Zurechenbarkeit: Anonyme Verdichtung schützt die Ehrlichkeit, macht aber die Detailanalyse aufwendiger.
• Der teuerste Fehler: ein grosser, zusammengesetzter Betrag, den niemand halten kann, überzeugt kürzer als eine kleine, belegbare Zahl.

Inhaltsverzeichnis

1. Nachteil 1: Zurechnung ist schwer
2. Nachteil 2: Ohne Baseline keine Wirkung
3. Nachteil 3: Selbstauskunft hat Schlagseite
4. Nachteil 4: Das Wort KI kann blockieren
5. Nachteil 5: Aggregation kostet Zurechenbarkeit
6. Vor- und Nachteile im Überblick
7. Wie sich die Nachteile entschärfen lassen
8. Häufig gestellte Fragen

Nachteil 1: Zurechnung ist schwer

Der grundlegendste Nachteil steckt in der Rechenlogik selbst. Es gibt zwei Wege, einen KI-ROI zu bauen, und der bequemere ist der schwächere. Der Zurechnungs-ROI versucht, aus vielen Annahmen einen Gesamtbetrag zu bauen: so viele Personen mal so viele gesparte Minuten mal ein Vollkostensatz, hochgerechnet aufs Jahr. Solche Zahlen wirken beeindruckend und brechen im ersten kritischen Gespräch zusammen, weil jede einzelne Annahme angreifbar ist. Wie viele Personen nutzen es wirklich? Sind es wirklich fünfzehn Minuten? Gilt der Vollkostensatz? Sobald ein Gremium eine der Annahmen kippt, kippt die ganze Zahl.

Besonders scharf wird das auf der obersten Wirkungsebene, dem Geschäftsergebnis. Dort wirken viele Faktoren gleichzeitig: Konjunktur, Personalwechsel, neue Prozesse, saisonale Effekte. Einen Umsatz- oder Kosteneffekt allein der KI zuzuschreiben, ist selten sauber möglich. Wer es trotzdem tut, produziert genau die Zahl, die im kritischen Gespräch zerbricht, und verliert Vertrauen dann, wenn er es am meisten braucht.

Der Ausweg ist der Wechsel von Zurechnung zu Verdrängung. Verdrängungs-ROI rechnet mit dem, was ein KI-Einsatz messbar ersetzt: ein abgelöstes Werkzeug, dessen Lizenzkosten wegfallen, oder eine wiederkehrende Aufgabe, die nachweislich kürzer dauert. Beides lässt sich benennen, gegenrechnen und verteidigen. Statt einen fiktiven Gesamtbetrag zu behaupten, zeigt man, was KI konkret abgelöst hat, und trägt das als belastbare Untergrenze ein. Eine kleinere, belegbare Zahl hält länger als eine grosse, die niemand verteidigen kann.

Nachteil 2: Ohne Baseline keine Wirkung

Die KI-Wirkungsmessung ist nur so aussagekräftig wie ihr Vorher-Wert. Wirkung ist immer eine Differenz: So lange dauerte die Aufgabe vorher, so lange dauert sie jetzt. Fehlt der erste Wert, gibt es keine Differenz, sondern nur eine Momentaufnahme, aus der man eine Ersparnis herbeischätzt. Genau hier scheitern die meisten KI-Investitionen. Der Anlass, den Nutzen zu messen, entsteht typischerweise erst dann, wenn die Frage von oben schon gestellt ist, und da ist der Rollout längst gelaufen. Der Moment für die Ausgangsmessung, nämlich vor dem Rollout, ist dann unwiderruflich verpasst.

Das Handwerk dahinter ist die Vorher-Nachher-Logik. Bevor KI ausgerollt wird, erhebt man eine Ausgangsmessung: Wie lange dauert die Zielaufgabe heute, welches Werkzeug wird dafür genutzt, wo klemmt es? Nach einigen Wochen stellt man dieselben Fragen erneut. Die Differenz ist die Wirkung. Ohne diese Baseline gibt es keinen Vergleich, und ohne Vergleich keine glaubwürdige Zahl.

Der Ausweg ist banal und wird trotzdem selten befolgt: Die Messung muss vor dem Rollout beginnen, nicht danach. Wer heute vor einer KI-Einführung steht, hat die eine Gelegenheit, die sich nicht nachholen lässt. Wer sie verpasst hat, sollte das offen sagen, statt eine Baseline nachträglich zu konstruieren. Ein ehrliches „wir haben keinen sauberen Vorher-Wert, hier ist unsere beste Schätzung mit ihren Grenzen” ist glaubwürdiger als eine erfundene Ausgangszahl, die im Nachhinein zurechtgelegt wurde.

Nachteil 3: Selbstauskunft hat Schlagseite

Eine Mitarbeitendenbefragung ist das naheliegende Instrument, weil die Menschen, die KI täglich nutzen, den Nutzen am besten einschätzen. Aber Selbstauskunft ist keine Messung im engen Sinn, sondern eine Einschätzung, und die hat eine Schlagseite. Wer von einem neuen Werkzeug begeistert ist, überschätzt leicht, wie viel Zeit es spart. Wer es ablehnt, unterschätzt den Nutzen. Und in beide Richtungen wirkt die schlichte Ungenauigkeit der Erinnerung: Kaum jemand weiss auf die Viertelstunde genau, wie lange eine Aufgabe früher gedauert hat.

Dazu kommt der soziale Druck. Wenn die Geschäftsleitung sichtbar in KI investiert hat und die Belegschaft das weiss, entsteht eine Erwartung, dass die Antwort positiv ausfällt. Eine Befragung, die den KI-Nutzen belegen soll, misst dann teils die Erwünschtheit mit, nicht nur die Wirkung.

Der Ausweg ist die Triangulation. Die Befragung ist stark darin, das Warum zu liefern und die gesparte Zeit greifbar zu machen, aber sie sollte nicht allein als Beweis stehen. Wo objektive Daten verfügbar sind, gehören sie danebengelegt: Nutzungslogs für die tatsächliche Nutzung, operative Kennzahlen für Durchsatz und Qualität, Geschäftszahlen für das Ergebnis. Und die Fragen selbst entscheiden über die Qualität der Selbstauskunft. Eine Skala von eins bis fünf zur Zufriedenheit mit dem Tool sagt fast nichts. Episodische Fragen dagegen holen einen konkreten Sachverhalt: Welche Aufgabe dauert seit dem Einsatz kürzer, was ist ganz weggefallen, wo hilft es nicht. Aus „ich spare bestimmt viel Zeit” wird so „die wöchentliche Aufbereitung, die früher einen halben Tag gebraucht hat, ist jetzt in zwei Stunden erledigt”, und das lässt sich prüfen.

Nachteil 4: Das Wort KI kann blockieren

Ein Nachteil, der selten genannt wird und trotzdem ganze Messungen verzerrt: In manchen Organisationen löst schon der Begriff KI Abwehr aus. Die Gründe reichen von der Sorge um den eigenen Arbeitsplatz über Datenschutzbedenken bis zu einer allgemeinen Skepsis gegenüber dem Hype. Eine Wirkungsmessung, die zu offensiv mit KI wirbt, senkt in solchen Häusern die Beteiligung, und ausgerechnet die kritischen Stimmen, die man für ein ehrliches Bild bräuchte, machen nicht mit. Das Ergebnis ist eine Erhebung mit Schlagseite, in der nur die ohnehin Überzeugten antworten.

Der Ausweg ist ein Wechsel der Perspektive. Oft ist es klüger, nach der konkreten Aufgabe und der gesparten Zeit zu fragen als nach der Meinung zur KI. „Welche wiederkehrende Aufgabe kostet Sie am meisten Zeit, und was hat sich daran zuletzt verändert?” ist eine Frage, die auch jemand beantwortet, der das Wort KI meidet. Die Wirkung interessiert, nicht die Haltung zum Schlagwort. Wer den Fokus auf die Arbeit legt statt auf die Technologie, bekommt mehr und ehrlichere Antworten und misst am Ende das, was zählt: ob sich der Arbeitsalltag verändert hat.

Nachteil 5: Aggregation kostet Zurechenbarkeit

Damit eine Befragung ehrliche Antworten bringt, braucht sie ein Mass an Anonymität, und dieselbe Anonymität, die die Ehrlichkeit sichert, kostet Zurechenbarkeit. Sobald Antworten anonym verdichtet werden, lässt sich nicht mehr sagen, wer was gemeint hat. Für die Wirkungsmessung heisst das: Man sieht, dass ein Team im Schnitt zwei Stunden pro Woche spart, aber nicht, ob das an einem einzelnen Power-User liegt oder gleichmässig verteilt ist. Man sieht, dass eine Kritik mehrfach genannt wird, kann aber nicht nachfassen, weil man die Person nicht kennt. Die Detailanalyse wird dadurch aufwendiger, und manche Rückfrage, die die Zahl schärfen würde, ist strukturell nicht mehr möglich.

Das ist ein echter Zielkonflikt, kein Bedienungsfehler. Wer die Anonymität aufweicht, um genauer zurechnen zu können, bekommt vorsichtigere Antworten und misst am Ende weniger ehrlich. Wie sich Anonymität und Auswertbarkeit sauber gegeneinander abwägen lassen, behandelt der Eintrag anonyme Mitarbeitendenbefragung.

Der Ausweg ist, den Konflikt bewusst zugunsten der Ehrlichkeit zu entscheiden und die Auswertung entsprechend anzulegen. Statt einzelne Personen zurückzuverfolgen, arbeitet man mit Mustern: Welche Aufgabe wird von vielen genannt, wo gehen die Einschätzungen auseinander, welche Fälle tauchen wiederholt auf. Eine Auswertung, die offene Antworten zu wenigen klaren Themen mit Priorität verdichtet, holt aus anonymen Daten so viel Substanz wie möglich, ohne die Anonymität anzutasten. Die Zurechenbarkeit auf die Einzelperson gibt man auf, die Zurechenbarkeit auf das Thema behält man.

Vor- und Nachteile im Überblick

Vorteil	Der Nachteil daneben
Macht aus einer Ahnung eine Entscheidungsgrundlage	nur, wenn eine Baseline existiert (Nachteil 2)
Die täglichen Nutzenden liefern echte Tiefe	Selbstauskunft hat eine Schlagseite (Nachteil 3)
Belegt zuverlässig die gesparte Zeit	die Zurechnung zum Geschäftsergebnis bleibt schwer (Nachteil 1)
Anonymität sichert ehrliche Antworten	Aggregation kostet Zurechenbarkeit (Nachteil 5)
Findet die Fälle, wo KI wirklich hilft	das Wort KI kann die Beteiligung senken (Nachteil 4)

Die vollständige Definition, die vier Wirkungsebenen und den Weg zur ehrlichen Zahl behandelt der Haupteintrag KI-Wirkungsmessung (KI-ROI). Kurz gesagt: Jeder Vorteil der Messung hat eine Bedingung, unter der er zum Nachteil wird. KI-Wirkungsmessung ist kein Rechenautomat, der einen sauberen Frankenbetrag ausspuckt, sondern ein bedingt gutes Instrument, dessen Wert an der Ehrlichkeit der Zahl hängt.

Wie sich die Nachteile entschärfen lassen

Fast jeder Nachteil hat einen Ausweg, und die meisten liegen vor und nach der eigentlichen Erhebung, nicht in ihr:

1. Verdrängung statt Zurechnung rechnen. Zeigen Sie, was KI messbar ersetzt, ein abgelöstes Tool oder eine eingesparte Stunde, statt einen zusammengesetzten Gesamtbetrag zu behaupten. Das löst Nachteil 1.
2. Vor dem Rollout eine Baseline erheben. Dieselben Fragen vorher und nachher stellen, die Differenz ist die Wirkung. Das ist die einzige Massnahme, die Nachteil 2 löst, und zugleich die, die am häufigsten fehlt.
3. Selbstauskunft triangulieren. Die Befragung für das Warum und die gesparte Zeit, harte Daten für Nutzung und Ergebnis. Das entschärft Nachteil 3.
4. Nach der Aufgabe fragen, nicht nach der Meinung zur KI. Episodische Fragen zu einer konkreten Veränderung holen mehr Substanz und mehr Beteiligung. Das löst Nachteil 4 und verbessert Nachteil 3 gleich mit.
5. Auf Muster statt auf Einzelpersonen auswerten. Anonyme Antworten zu wenigen Themen mit Priorität verdichten, statt zurückzuverfolgen. Das ist der beste Umgang mit Nachteil 5.

Fazit

KI-Wirkungsmessung ist kein schlechtes Instrument, aber ein anspruchsvolles. Vier der fünf Nachteile lassen sich vor oder während der Erhebung entscheiden: Verdrängung statt Zurechnung, eine Baseline vor dem Rollout, Triangulation der Selbstauskunft, die Frage nach der Aufgabe statt nach dem Schlagwort. Der fünfte, der Zielkonflikt zwischen Anonymität und Zurechenbarkeit, lässt sich nicht auflösen, aber bewusst zugunsten der Ehrlichkeit entscheiden. Am Ende zählt eine Regel: Eine ehrliche, verdrängungsbasierte Zahl überzeugt länger als eine grosse, die niemand halten kann.

Genau an diesem Punkt setzt Moodtalk an: nicht bei einem weiteren Dashboard, sondern beim ehrlichen Nachweis dort, wo die Wirkung entsteht. Eine kurze, dialogbasierte Befragung fragt die Menschen, die KI täglich nutzen, nach der konkreten Aufgabe und der gesparten Zeit, hakt bei knappen Antworten nach und verdichtet die offenen Antworten zu wenigen klaren Themen mit Priorität, mit denen eine Führungskraft entscheiden kann. Wie aus Ergebnissen tatsächlich Schritte werden, zeigt der Beitrag Massnahmen ableiten nach der Mitarbeiterbefragung, und wie das in der Praxis aussieht, der Anwendungsfall Mitarbeitendenbefragung. Wenn Sie den Nutzen Ihres KI-Einsatzes belegen statt schätzen wollen, sehen Sie sich Moodtalk an.

Verwandte Inhalte

• KI-Wirkungsmessung: Beispiele und Musterfragen
• Massnahmen ableiten nach der Mitarbeiterbefragung
• Anwendungsfall Mitarbeitendenbefragung
• Kundengeschichten
• Im Lexikon: KI-Wirkungsmessung (KI-ROI) (Haupteintrag)
• Im Lexikon: Massnahmentracking
• Im Lexikon: Erwartungsmanagement
• Im Lexikon: Management-Summary
• Im Lexikon: Mitarbeitendenbefragung
• Im Lexikon: anonyme Mitarbeitendenbefragung