KI-Wirkungsmessung: Beispiele und Musterfragen

Sie sollen belegen, was der KI-Einsatz Ihrer Organisation gebracht hat, und stehen vor einem leeren Blatt: Was fragt man eigentlich, und wie wird aus den Antworten eine Zahl, die vor der Geschäftsleitung standhält? Ein Beispiel für KI-Wirkungsmessung ist eine abgelöste Werkzeuglizenz, deren wegfallende Kosten die belegbare Untergrenze des Nutzens bilden. Ein anderes ist eine wiederkehrende Aufgabe, deren Dauer vor und nach dem Rollout gemessen wird. Was ein Beispiel gut macht, ist nicht die Grösse der Zahl, sondern ihre Bauart: wenige, konkrete Fragen nach einer beobachteten Veränderung, ein Vorher-Wert zum Vergleich und eine Rechnung, die mit dem arbeitet, was messbar wegfällt.

Dieser Artikel zeigt konkrete Musterfragen für die vier Wirkungsebenen, den Vorher-nachher-Fragensatz, den direkten Vergleich zwischen einer starken und einer schwachen Frage und ein ehrlich beschriftetes Verdrängungs-Rechenbeispiel.

Auf einen Blick

• Vier Ebenen, nicht ein Wert. Nutzung, gesparte Zeit, Qualität und Durchsatz, Geschäftsergebnis bauen aufeinander auf. Je höher, desto aussagekräftiger und desto schwerer belegbar.
• Verankern Sie auf Ebene 2. Die gesparte Zeit ist die Ebene, die eine Befragung am zuverlässigsten erfasst, weil die Person den Vergleich selbst ziehen kann.
• Fragen Sie episodisch, nicht nach der Meinung. „Welche Aufgabe dauert seit dem Einsatz kürzer” holt einen Sachverhalt. „Wie zufrieden sind Sie mit der KI” holt eine Zahl ohne Handlungsansatz.
• Dieselben Fragen zweimal. Der Vorher-nachher-Vergleich ist das eigentliche Handwerk. Ohne Ausgangswert gibt es keine Wirkung, nur eine Momentaufnahme.
• Rechnen Sie mit Verdrängung. Eine abgelöste Lizenz als Untergrenze ist belegbar. Ein zusammengesetzter Gesamtbetrag zerbricht im ersten kritischen Gespräch.
• Ein Beispiel ist erst gut, wenn eine Entscheidung folgt. Alles davor ist Vorbereitung.

Inhaltsverzeichnis

1. Musterfragen für die vier Wirkungsebenen
2. Der Vorher-nachher-Fragensatz
3. Gute und schwache Frage im direkten Vergleich
4. Ein Verdrängungs-Rechenbeispiel (Annahme, illustrativ)
5. Ein vollständiges Beispiel einer Wirkungsmessung
6. Wo Beispiele an ihre Grenzen stossen
7. Häufig gestellte Fragen

Musterfragen für die vier Wirkungsebenen

Wirkung ist nicht ein einziger Wert, sondern eine Kette. Vier Ebenen bauen aufeinander auf, und je höher man klettert, desto aussagekräftiger, aber auch desto schwerer belegbar wird die Zahl. Für jede Ebene gibt es eine passende Frage, und die entscheidende Regel lautet: Verankern Sie den Nachweis auf Ebene 2, weil sie belegbar ist, und interpretieren Sie vorsichtig nach oben.

Ebene 1, Nutzung. Wird KI überhaupt eingesetzt, von wem und für was?

• Für welche konkrete Aufgabe nutzen Sie KI regelmässig? → Nachfrage: Und für welche haben Sie es ausprobiert und wieder gelassen?
• Wo würden Sie KI gern nutzen, dürfen oder können es aber nicht? → Nachfrage: Woran liegt das, an der Erlaubnis, am Werkzeug oder am Wissen?

Ebene 2, gesparte Zeit. Wie viel Zeit spart eine konkrete Aufgabe seit dem Einsatz? Das ist die Ebene, die eine gute Befragung am zuverlässigsten erfasst.

• Welche wiederkehrende Aufgabe dauert seit dem KI-Einsatz kürzer? → Nachfrage: Wie lange hat sie vorher gedauert, wie lange heute?
• Was ist seit dem Einsatz ganz weggefallen? → Nachfrage: Was haben Sie mit der frei gewordenen Zeit gemacht?

Ebene 3, Qualität und Durchsatz. Werden Ergebnisse besser oder schaffen Teams mehr in gleicher Zeit?

• Ist ein Ergebnis, an dem KI beteiligt ist, aus Ihrer Sicht besser geworden? → Nachfrage: Woran machen Sie das fest, gibt es weniger Korrekturschleifen, weniger Rückfragen?

Ebene 4, Geschäftsergebnis. Zeigt sich die Wirkung in Umsatz, Kosten oder Fluktuation? Diese Ebene ist für die Geschäftsleitung die relevanteste und zugleich die, bei der die Zurechnung am heikelsten wird, weil viele Faktoren gleichzeitig wirken. Sie lässt sich aus einer Befragung allein nicht belegen und braucht Zahlen aus dem operativen System. Eine Befragung liefert hier bestenfalls die Fälle und Hinweise, an denen man die harten Zahlen dann prüft.

Der Kern aller Beispielfragen: Sie holen ein beobachtetes Verhalten und eine konkrete Veränderung, keine Haltung. Und weil solche Antworten in Sätzen und nicht in Zahlen ankommen, entscheidet die Auswertung darüber, ob sie nutzbar sind.

Der Vorher-nachher-Fragensatz

Das eigentliche Handwerk der Wirkungsmessung ist die Vorher-nachher-Logik. Sie stellen einen kompakten Fragensatz einmal vor dem Rollout und denselben Satz einige Wochen danach. Die Differenz ist Ihre Wirkung. Wichtig ist, dass die Fragen konkret und episodisch sind, nicht nach der Meinung zur KI fragen, und dass sie beide Male wortgleich gestellt werden, sonst lässt sich nichts vergleichen.

Vor dem Rollout (Baseline):

1. Welche wiederkehrende Aufgabe kostet Sie aktuell am meisten Zeit?
2. Wie lange dauert diese Aufgabe heute typischerweise?
3. Womit erledigen Sie sie heute, mit welchem Werkzeug, welcher Vorlage, welcher Person?
4. Wo klemmt es dabei am ehesten?

Nach dem Rollout (dieselben vier plus zwei):

5. Was hat sich seit dem KI-Einsatz an dieser Aufgabe konkret verändert?
6. Was ist ganz weggefallen?

Der Fragensatz ist bewusst kurz. Fünf bis sechs gezielte Fragen, die nach jeder Antwort nachfassen, liefern mehr Substanz als ein langer Katalog, den gegen Ende niemand mehr sorgfältig ausfüllt. Aus „ich spare bestimmt Zeit” wird so „die wöchentliche Aufbereitung hat vorher einen halben Tag gebraucht und ist jetzt in gut zwei Stunden erledigt”, und das ist eine prüfbare Aussage statt eines Gefühls.

Wie das als Dialog aussieht

Der Unterschied zwischen einem Formular und einem Gespräch lässt sich am kürzesten an einem Verlauf zeigen. Aus einer Frage werden dabei nicht mehr Fragen für alle, sondern genau eine gezielte Nachfrage für die Person, die gerade geantwortet hat:

Frage: Was hat sich seit dem KI-Einsatz an Ihrer zeitintensivsten Aufgabe verändert?

Antwort: Die Protokolle gehen schneller.

Rückfrage: Danke. Wie lange haben Sie vorher dafür gebraucht, wie lange jetzt?

Antwort: Früher gut eine Stunde pro Sitzung für das Reinschreiben und Nachbereiten, jetzt vielleicht zwanzig Minuten fürs Gegenlesen.

Rückfrage: Und was machen Sie mit den vierzig Minuten, die frei werden?

Antwort: Ehrlich gesagt oft die Nachfassen-Aufgaben, die vorher liegen geblieben sind.

Aus einer knappen Aussage, die für sich genommen nur „schneller” bedeutet, ist damit ein belegbarer Sachverhalt geworden: rund vierzig Minuten pro Sitzung, verlagert auf eine Aufgabe, die vorher liegen blieb. Das ist der Unterschied zwischen einem Eindruck, über den man spekulieren muss, und einem Befund, aus dem sich eine Zahl und eine Massnahme formulieren lassen. Genau so führt Moodtalk Befragungen: als Dialog, in dem der KI-Interview-Agent nach jeder Antwort nach dem konkreten Vorher-nachher fragt, in der Sprache der antwortenden Person und wahlweise per Chat oder Sprachinput.

Gute und schwache Frage im direkten Vergleich

Der Unterschied ist fast immer derselbe: Haltung gegen beobachtete Veränderung. Eine schwache Frage erzeugt eine Zahl ohne Handlungsansatz, eine gute Frage einen Sachverhalt, aus dem sich eine Zahl und eine Massnahme bauen lassen.

Schwach	Stark	Warum
Wie zufrieden sind Sie mit dem KI-Tool?	Welche Aufgabe dauert seit dem Einsatz kürzer?	Haltung gegen beobachtete Veränderung.
Finden Sie KI hilfreich?	Was ist seit dem Einsatz ganz weggefallen?	Ja-Nein gegen einen benennbaren Effekt.
Wie schätzen Sie den Nutzen ein?	Wie lange hat die Aufgabe vorher gedauert, wie lange heute?	Sammelurteil gegen einen prüfbaren Vergleich.
Bewerten Sie den KI-Einsatz von 1 bis 5.	Wo hilft KI nicht, obwohl Sie es erwartet hätten?	Eine Zahl ohne Grund gegen eine ehrliche Grenze.

Die Schwäche der linken Spalte ist nicht der fehlende Enthusiasmus, sondern die fehlende Verwertbarkeit. Eine Likertskala zur Zufriedenheit mit dem Tool ergibt am Ende einen Mittelwert wie 3,8, und aus 3,8 lässt sich keine Massnahme bauen und kein Franken belegen. Die rechte Spalte dagegen holt Antworten, die man weiterverwenden kann: eine gesparte Stunde, eine weggefallene Aufgabe, ein Fall, in dem KI eben nicht hilft und den man deshalb nicht weiter ausbauen sollte.

Die Faustregel dahinter ist einfach: Wenn aus der Antwort niemand ableiten kann, was sich konkret verändert hat, war es die falsche Frage. Und wenn die Frage nur eine Meinung abruft statt einer Beobachtung, misst sie Erwünschtheit, nicht Wirkung.

Ein Verdrängungs-Rechenbeispiel (Annahme, illustrativ)

Aus den Antworten wird eine Zahl, und hier entscheidet sich, ob die Zahl standhält. Der belastbarste Weg rechnet mit Verdrängung, also mit dem, was messbar wegfällt, nicht mit einem zusammengesetzten Gesamtbetrag. Zwei Quellen sind belastbar.

Die abgelöste Lizenz als Untergrenze. Wird durch den KI-Einsatz ein Werkzeug oder ein Zusatzmodul überflüssig, sind dessen wegfallende Lizenzkosten pro Jahr eine harte, belegbare Grösse. Das ist kein Wunsch, sondern eine Rechnung, die vor jedem Gremium besteht, weil sie sich am Vertrag ablesen lässt.

Die gesparte Zeit, ehrlich als Annahme beschriftet. Hier ein bewusst illustratives Rechenbeispiel, das man genau so, mit dieser Beschriftung, kommunizieren sollte:

Annahme, illustrativ: Ein Team von 20 Personen spart rund 1,5 Stunden pro Sitzung. Bei einem Vollkostensatz von etwa 70 Franken pro Stunde ergibt das ungefähr 20 × 1,5 × 70 = rund 2’100 Franken pro Sitzung.

Diese Zahl ist nützlich, aber sie ist eine Annahme, und genau so muss sie beschriftet sein. Jeder Faktor ist eine Setzung: Sind es wirklich 20 Personen? Wirklich 1,5 Stunden? Gilt der Vollkostensatz? Wer die Rechnung als harten Beweis präsentiert, statt sie als plausible Grössenordnung mit Ausgangswert zu zeigen, verliert sie im ersten kritischen Nachhaken. Und man erfindet dabei keinen Benchmark: Die Zahlen kommen aus der eigenen Baseline-Messung, nicht aus einer Broschüre. Die abgelöste Lizenz bleibt die verteidigbare Untergrenze, das Zeitbeispiel die illustrative Grössenordnung darüber.

Ein vollständiges Beispiel einer Wirkungsmessung

So sieht ein realistischer Ablauf aus, am Beispiel einer Abteilung, die ein KI-Werkzeug für die Aufbereitung wiederkehrender Dokumente einführt.

1. Zielklärung. Es geht darum, eine Entscheidungsgrundlage zu schaffen, nicht darum, einen Kauf im Nachhinein zu rechtfertigen. Das wird vorher gesagt, sonst antworten die Leute in Richtung des erwarteten Ergebnisses.
2. Baseline vor dem Rollout. Der Vorher-Fragensatz geht an die Personen, die die Zielaufgabe wirklich erledigen. Festgehalten wird, wie lange die Aufgabe heute dauert, womit sie erledigt wird und wo es klemmt.
3. Rollout. Lizenzen, Anwendungsfälle, kurze Einführung. Wichtig für die spätere Zahl: notieren, welches Werkzeug oder Modul dadurch abgelöst wird.
4. Nachmessung. Nach einigen Wochen dieselben Fragen plus die beiden Nachher-Fragen, wieder als Dialog, damit auf jede Antwort die konkrete Nachfrage folgt.
5. Auswertung. Nicht nur ein Mittelwert, sondern die Differenz zwischen Vorher und Nachher, die Muster in den offenen Antworten und die Fälle, in denen KI nicht hilft. Die offenen Antworten werden zu wenigen klaren Themen mit Priorität verdichtet.
6. Ehrliche Zahl. Die abgelöste Lizenz als belegbare Untergrenze, die gesparte Zeit als beschriftete Annahme darüber, beide mit dem Ausgangswert versehen.
7. Entscheidung. Weiter ausbauen, nachschärfen oder einstellen. Das ist der Schritt, um dessentwillen die ganze Messung stattfand.

Schritt sieben ist der, den die meisten Beispiele im Netz weglassen, und er entscheidet über den Wert des Ganzen. Wie sich aus Ergebnissen tatsächlich Schritte ableiten lassen, steht in einem eigenen Artikel dazu, und wie die offenen Antworten unterwegs nicht versanden, im Eintrag Massnahmentracking.

Wo Beispiele an ihre Grenzen stossen

Ein Beispiel-Fragensatz aus dem Netz passt nie ohne Anpassung. Die Fragen müssen zur konkreten Aufgabe, zur Organisation und zur Sprache des Hauses passen, sonst antworten die Leute an der Sache vorbei. Ausserdem gilt: Ein Rechenbeispiel ist ein Muster, kein Benchmark. Die Faktoren, 20 Personen, 1,5 Stunden, 70 Franken, sind Platzhalter für Ihre eigenen, gemessenen Werte, nicht Zahlen, die man übernehmen darf.

Und der wichtigste Vorbehalt: Auch der beste Fragensatz rettet keine Messung, die ohne Baseline startet, die Selbstauskunft ungeprüft als Beweis nimmt oder die einen zusammengesetzten Gesamtbetrag als harte Zahl verkauft. Die ausführliche Auseinandersetzung damit steht in KI-Wirkungsmessung: Nachteile und Kritik. Und wenn eine Erwartung geweckt, aber nichts entschieden wird, kippt die Messung ins Kontraproduktive, siehe Erwartungsmanagement.

Fazit

Ein gutes Beispiel für KI-Wirkungsmessung erkennt man an vier Dingen: Es fragt nach einer beobachteten Veränderung statt nach einer Haltung, es stellt dieselben Fragen vor und nach dem Rollout, es rechnet mit dem, was messbar wegfällt, statt mit einem erfundenen Gesamtbetrag, und es endet nicht mit einer Zahl, sondern mit einer Entscheidung. Die Zahl zeigt, dass etwas ist. Der Sachverhalt dahinter zeigt, was.

Genau an dieser Stelle setzt Moodtalk an, und zwar früher, als man erwartet: nicht erst bei der Auswertung, sondern schon bei der Erhebung. Die Befragung läuft als Dialog. Auf jede knappe Antwort stellt der KI-Interview-Agent die Rückfrage nach dem konkreten Vorher-nachher, in der Sprache der antwortenden Person und wahlweise per Chat oder Sprachinput. Dadurch kommen ganze Sachverhalte zurück statt Stichworte, und das mit wenigen Fragen. Anschliessend werden die offenen Antworten nicht von Hand durchgelesen, sondern zu wenigen klaren Themen mit Priorität verdichtet: Wo spart KI wirklich Zeit, wo wird sie umgangen, welche Aufgabe ist ganz weggefallen. Am Ende steht kein Dashboard mit Anmeldezahlen, sondern eine Grundlage, mit der eine Führungskraft entscheiden kann. Wie das in der Praxis aussieht, zeigt der Anwendungsfall Mitarbeitendenbefragung. Wenn Sie den Nutzen Ihres KI-Einsatzes belegen statt schätzen wollen, sehen Sie sich Moodtalk an.

Verwandte Inhalte

• KI-Wirkungsmessung: Nachteile und Kritik
• Massnahmen ableiten nach der Mitarbeiterbefragung
• Anwendungsfall Mitarbeitendenbefragung
• Kundengeschichten
• Im Lexikon: KI-Wirkungsmessung (KI-ROI) (Haupteintrag)
• Im Lexikon: Massnahmentracking
• Im Lexikon: Erwartungsmanagement
• Im Lexikon: Management-Summary
• Im Lexikon: Likertskala
• Im Lexikon: Mitarbeitendenbefragung