Freitextanalyse mit KI: Nachteile und Kritik

Wer offene Antworten aus einer Befragung mit KI auswerten lässt, bekommt aus tausenden Kommentaren eine Übersicht, die ein Mensch nicht mehr von Hand erstellen könnte. Das ist ein echter Fortschritt, aber die Methode hat reale Schwächen, und wer sie kennt, setzt sie glaubwürdiger ein. Die grössten Nachteile in Kürze: das Risiko der Halluzination ohne Nachvollziehbarkeit, die Überinterpretation dünner Daten, das Prinzip Garbage in Garbage out bei schwachen Fragen, die unzuverlässige Sentimentanalyse auf kurzem Deutsch und der Verlust der Zurechenbarkeit durch die Aggregation. Der Satz, der alle fünf zusammenhält, ist einfach: die KI konsolidiert, sie interpretiert nicht.

Auf einen Blick

• Halluzination: Die KI kann Dinge zusammenfassen, die so nicht gesagt wurden. Der Ausweg ist Nachvollziehbarkeit, also die Originalzitate hinter jeder Aussage.
• Überinterpretation: Aus wenigen oder knappen Antworten leitet die KI leicht mehr ab, als drinsteht. Ein Thema, das dreimal genannt wurde, ist kein Trend.
• Garbage in, Garbage out: Kurze, unspezifische Antworten ergeben eine schwache Auswertung, egal wie gut das Modell ist. Der Fehler entsteht bei der Frage, nicht bei der KI.
• Unzuverlässiges Sentiment: Auf kurzen deutschen Antworten ist die automatische Stimmungserkennung verrauscht. Die Zahl ist ein Hinweis, kein Beweis.
• Verlust der Zurechenbarkeit: Sobald Antworten zu Themen verdichtet werden, lässt sich nicht mehr sagen, wer was gemeint hat. Das schützt die Anonymität und kostet die Rückfrage.

Inhaltsverzeichnis

1. Nachteil 1: Halluzination und das Vertrauensproblem
2. Nachteil 2: Überinterpretation dünner Daten
3. Nachteil 3: Garbage in, Garbage out
4. Nachteil 4: Sentiment auf kurzem Deutsch ist unzuverlässig
5. Nachteil 5: Aggregation nimmt die Zurechenbarkeit
6. Der gemeinsame Nenner: konsolidieren statt interpretieren
7. Wie sich die Nachteile entschärfen lassen
8. Häufig gestellte Fragen

Nachteil 1: Halluzination und das Vertrauensproblem

Der häufigste und wichtigste Einwand gegen die KI-Freitextanalyse lautet: Halluziniert die KI bei der Auswertung? Die Sorge ist berechtigt. Ein Sprachmodell kann eine Zusammenfassung formulieren, die glatt und plausibel klingt, aber Dinge behauptet, die so in keiner Antwort standen. Es kann eine Nuance zuspitzen, eine Ausnahme zur Regel machen oder eine Aussage erfinden, die niemand geschrieben hat. Genau diese Frage stellen die Verantwortlichen in der Praxis von sich aus, oft schon bevor sie das erste Ergebnis gesehen haben.

Der Ausweg ist keine Beteuerung, sondern eine Bauweise. Die KI konsolidiert, sie interpretiert nicht. Ein gutes System fasst zusammen, was wirklich geschrieben wurde, und erfindet nichts hinzu, und die einzige Absicherung dagegen ist die Nachvollziehbarkeit: Zu jeder Zusammenfassung müssen die Originalzitate abrufbar sein, aus denen sie entstanden ist. Wer eine Aussage wie „viele nennen die Arbeitslast” liest, muss mit einem Klick die konkreten Sätze dahinter sehen können. Ohne diese Rückbindung bleibt jede Verdichtung eine Behauptung, die man glauben muss. Mit ihr wird sie zu einer Aussage, die man prüfen kann. Verlangen Sie deshalb von jedem System die eine Frage, die alles entscheidet: Zeigen Sie mir die Originalzitate hinter dieser Zusammenfassung. Kann es das nicht, ist Misstrauen die richtige Haltung. Genau darauf zielt auch der Wunsch mancher Kundinnen, die Rohtexte selbst mitzulesen und sich nicht nur auf die Verdichtung zu verlassen.

Nachteil 2: Überinterpretation dünner Daten

Der zweite Nachteil ist subtiler, weil er nicht wie ein Fehler aussieht. Aus wenigen oder sehr knappen Antworten leitet die KI leicht mehr ab, als tatsächlich drinsteht. Drei Personen nennen dasselbe Stichwort, und die Zusammenfassung spricht von einem Muster. Ein einzelner ausführlicher Kommentar klingt so überzeugend, dass er in der Verdichtung schwerer wiegt als zwanzig knappe. So entsteht der Eindruck eines Trends, wo in Wahrheit nur eine dünne Datenlage vorliegt.

Das ist gefährlich, weil eine gut formulierte Zusammenfassung Sicherheit vortäuscht. Wer liest, dass „das Team die neue Sitzungsstruktur kritisch sieht”, denkt an eine breite Stimmung, auch wenn die Aussage auf vier von hundert Antworten beruht. Ein Thema, das dreimal genannt wurde, ist kein Trend, sondern ein Hinweis, dem man nachgehen kann. Der Ausweg besteht darin, die Häufigkeit sichtbar zu halten, statt sie in der Formulierung verschwinden zu lassen: Wie viele Antworten tragen dieses Thema, und wie substanziell sind sie? Ein gutes Ergebnis benennt diese Grenze offen, statt sie zu überspielen. Und es unterscheidet zwischen dem, was oft gesagt wurde, und dem, was nur einmal, aber eindringlich gesagt wurde, weil beides seinen Platz hat, aber nicht denselben.

Nachteil 3: Garbage in, Garbage out

Der dritte Nachteil ist kein Fehler der KI, sondern ihre härteste Grenze. Eine Analyse kann nur so gut sein wie die Antworten, die hereinkommen. Wenn eine offene Frage lautet „Haben Sie noch Anmerkungen?”, dann bekommt man Antworten wie „nein”, „passt” und „keine”. Das beste Modell der Welt kann daraus nichts machen, weil nichts drinsteht. Kurze, unspezifische Antworten ergeben eine schwache Analyse, und keine noch so ausgefeilte Auswertung repariert das nachträglich. Das Problem entsteht vor der KI, nicht in ihr, und wer nur ein besseres Modell sucht, optimiert an der falschen Stelle.

Das ist der eigentliche, oft übersehene Nachteil der ganzen Methode: Sie verschiebt die Verantwortung nach vorne, dorthin, wo die Frage gestellt wird. Zwei Hebel entscheiden über die Antwortqualität. Der erste ist die Frage selbst. „Was müsste sich ändern, damit Ihre Zusammenarbeit im Team besser läuft?” lädt zum Erzählen ein, „Sind Sie mit der Zusammenarbeit zufrieden?” nicht. Eine gute offene Frage ist konkret, bezieht sich auf eine erlebbare Situation und stellt keine Ja-Nein-Falle. Der zweite Hebel ist die Nachfrage. Eine statische Textbox nimmt hin, was kommt. Eine Befragung, die bei einer knappen Antwort nachhakt und fragt „Was meinen Sie damit konkret?”, holt die Substanz nach, die sonst gefehlt hätte. Aus einem „die Kommunikation ist schlecht” wird so ein „Entscheidungen werden getroffen, ohne dass wir vorher gefragt werden”, und erst diese zweite Aussage ist etwas, mit dem sich arbeiten lässt. Wie man solche Fragen konkret formuliert, zeigt der Schwesterbeitrag Freitextanalyse mit KI: Beispiele und Musterfragen.

Nachteil 4: Sentiment auf kurzem Deutsch ist unzuverlässig

Die Sentimentanalyse ist der Teil, der am meisten verspricht und am ehesten enttäuscht, wenn man ihn falsch versteht. Über viele Antworten gemittelt gibt sie eine brauchbare Richtung: Über dieses Thema wird eher gut geschrieben, über jenes eher schlecht. Als grobe Landkarte der Stimmungslage ist das nützlich. Auf der einzelnen kurzen Antwort ist sie dagegen unzuverlässig, und das wird selten offen gesagt.

Ironie erkennt die automatische Stimmungserkennung schlecht, „ja super, noch ein Tool” liest sie leicht als positiv. Verneinung dreht die Aussage, ohne dass die Tonlage-Erkennung immer folgt. Und gerade kurze deutsche Antworten geben zu wenig Kontext her, um eine Stimmung sicher zu bestimmen: Ein einzelnes „geht so” ist für einen Menschen mehrdeutig und für ein Modell erst recht. Wer einen Sentiment-Wert wie eine Likertskala behandelt und in eine Management-Summary schreibt, verwechselt eine grobe Tendenz mit einer Kennzahl. Der Ausweg ist die einzige vernünftige Handhabung: Die Stimmungszahl ist ein Hinweis, den man an den Originalzitaten prüft, nie ein Beweis für sich. Die ehrliche Antwort auf die Frage, wie genau die Sentimentanalyse ist, lautet deshalb: verlässlich als Tendenz über viele Antworten, unzuverlässig auf der einzelnen, und immer an der Rohaussage zu kontrollieren.

Nachteil 5: Aggregation nimmt die Zurechenbarkeit

Der fünfte Nachteil ist zugleich eine Stärke, und das macht ihn leicht zu übersehen. Sobald Antworten zu Themen verdichtet werden, lässt sich nicht mehr sagen, wer was gemeint hat. Die Verbindung zwischen einer einzelnen Aussage und der Person dahinter ist bewusst gekappt. Für die Ehrlichkeit der Befragung ist das ein Vorteil, denn genau diese Anonymität schützt die offene Antwort und macht sie erst möglich. Für die Detailanalyse ist es ein Nachteil, denn man gewinnt die freie Meinung und verliert die Rückfrage an die einzelne Person.

Konkret heisst das: Eine Führungskraft liest „mehrere nennen fehlende Rückmeldung nach Sitzungen” und kann nicht nachfassen, wer das erlebt hat und in welcher Situation genau. Das ist kein Mangel des Werkzeugs, sondern der Preis der Anonymität, und man sollte ihn vorher kennen, statt sich hinterher darüber zu wundern. Der Ausweg liegt nicht darin, die Anonymität aufzuweichen, sondern darin, die Nachfrage nach vorne zu holen: Wenn die Befragung selbst schon im Dialog nachhakt, steckt der fehlende Kontext bereits in der Antwort, bevor sie anonymisiert und aggregiert wird. Was man in der Auswertung nicht mehr erfragen kann, muss bei der Erhebung entstehen.

Der gemeinsame Nenner: konsolidieren statt interpretieren

Vier der fünf Nachteile haben denselben Kern. Halluzination, Überinterpretation, falsches Sentiment und die vermeintlich zu breite Aussage entstehen alle an derselben Stelle: dort, wo ein System anfängt zu deuten, statt zu bündeln. Die Grenze verläuft zwischen einer KI, die konsolidiert, und einer, der man ausgeliefert ist. Eine konsolidierende KI trägt zusammen, was geschrieben wurde, zeigt die Häufigkeit, hält die Originalzitate bereit und benennt, wo die Datenlage dünn ist. Eine interpretierende KI formuliert eine glatte Geschichte, die man glauben muss.

Der fünfte Nachteil, die Aggregation, ist der einzige, der nicht auf schlechter Bauart beruht, sondern auf einem bewussten Tausch: Anonymität gegen Rückfrage. Auch er lässt sich entschärfen, aber nicht wegkonstruieren. Daraus folgt eine nüchterne Bewertung. Die KI-Freitextanalyse ist kein Orakel und kein Selbstläufer. Sie ist ein starkes Werkzeug unter Bedingungen, und fast alle Bedingungen liegen ausserhalb des Modells: bei der Frage, bei der Nachvollziehbarkeit, bei der ehrlichen Behandlung dünner Daten und beim Verständnis dessen, was eine Stimmungszahl überhaupt aussagt.

Wie sich die Nachteile entschärfen lassen

Fast jeder Nachteil hat einen Ausweg, und die meisten liegen vor und nach der eigentlichen Analyse, nicht in ihr:

1. Nachvollziehbarkeit verlangen. Hinter jeder Zusammenfassung stehen die Originalzitate, mit einem Klick abrufbar. Das löst Nachteil 1 und entschärft Nachteil 2.
2. Dünne Daten nicht überhöhen. Die Häufigkeit je Thema bleibt sichtbar, und ein Ergebnis benennt, wo wenige Antworten es tragen. Das löst Nachteil 2.
3. Die Antwortqualität bei der Frage sichern. Konkrete, situationsbezogene Fragen statt Ja-Nein-Fallen, und eine Befragung, die bei einer knappen Antwort nachfragt. Das löst Nachteil 3.
4. Sentiment nur als Tendenz lesen. Die Stimmungszahl gilt über viele Antworten als Richtung, nie als Wert auf der einzelnen, und wird an den Rohaussagen geprüft. Das löst Nachteil 4.
5. Die Aggregation als Tausch verstehen. Anonymität schützt die offene Antwort, und der fehlende Kontext wird nach vorne geholt, in die dialogische Nachfrage bei der Erhebung. Das entschärft Nachteil 5.

Fazit

Die Freitextanalyse mit KI ist kein schlechtes Instrument, aber ein anspruchsvolles. Vier ihrer fünf Nachteile lassen sich auf einen Satz zurückführen: Die KI konsolidiert, sie interpretiert nicht, und wo sie doch interpretiert, braucht es die Originalzitate als Kontrolle. Der fünfte, der Verlust der Zurechenbarkeit, ist kein Fehler, sondern der Preis der Anonymität. Entscheidend ist, dass die grössten Hebel gar nicht im Modell liegen, sondern in der Frage davor: Kommen substanzielle Antworten herein, trägt die Analyse. Kommt Garbage in, kommt Garbage out, egal wie gut das Modell ist.

Genau an dieser Stelle setzt Moodtalk an, und zwar früher, als man erwartet: nicht erst bei der Auswertung, sondern schon bei der Erfassung. Eine kurze, dialogbasierte Befragung fragt bei einer knappen Antwort nach und holt die Substanz, aus der eine Auswertung überhaupt etwas machen kann. Die KI verdichtet die offenen Antworten dann zu Themen und einer Stimmungsübersicht, hält die Originalzitate hinter jeder Zusammenfassung einsehbar und wertet jede Sprache und Mundart aus, damit auch die Stimme von der Front zählt, bei Datenhaltung in der Schweiz. Wie eine Befragung als Ganzes aussieht, zeigt der Anwendungsfall Mitarbeitendenbefragung, und wie Organisationen die Erkenntnisse weiterverwenden, die Kundengeschichten. Wenn Sie das Warum hinter Ihren Zahlen sichtbar machen wollen, statt tausende Kommentare von Hand zu lesen, sehen Sie sich Moodtalk an.

Verwandte Inhalte

• Freitextanalyse mit KI: Beispiele und Musterfragen
• Massnahmen ableiten nach der Mitarbeiterbefragung
• Anwendungsfall Mitarbeitendenbefragung
• Kundengeschichten
• Im Lexikon: Freitext- und Sentimentanalyse (mit KI) (Haupteintrag)
• Im Lexikon: Management-Summary
• Im Lexikon: Likertskala
• Im Lexikon: KI-Wirkungsmessung
• Im Lexikon: Mitarbeitendenbefragung