Software, die den Tonfall von Pflegekräften am Telefon bewertet, klingt nach Dystopie, ist aber Alltag geworden. Bei Kaiser Permanente in Kalifornien wehren sich die Beschäftigten gegen genau das. Für deutsche Arbeitgeber ist der Fall mehr als eine Randnotiz aus den USA.
drweb.de als bevorzugte Quelle auf Google hinzufügenQualitätsgeprüfte Inhalte direkt in Google News & DiscoverJetzt hinzufügenKI-Überwachung am Arbeitsplatz trifft dort einen Nerv, wo es um Menschen statt um Maschinen geht. Die California Nurses Association wirft dem Gesundheitskonzern Kaiser Permanente vor, dass Kennzahlen und automatische Bewertungen die Versorgung der Patienten verschlechtern. Kaiser widerspricht, doch der Streit legt ein Muster offen, das jede Branche betrifft.
Das Wichtigste in Kürze
- Die California Nurses Association vertritt rund 25.000 Pflegekräfte, etwa 1.000 davon arbeiten als telefonische Beratungs- und Triage-Pflegekräfte in Kaisers Callcentern.
- Software misst Gesprächsdauer und Antworttempo; ein Testlauf bewertete 2024 sogar Stimme und Empathie.
- In der EU ist eine solche Emotionserkennung am Arbeitsplatz seit Februar 2025 verboten.
- In Deutschland macht schon die bloße Überwachungseignung ein System mitbestimmungspflichtig.
Was überwacht die KI bei Kaiser?
Die Software misst vor allem Gesprächsdauer und Reaktionstempo der Triage-Pflegekräfte, ein inzwischen gestoppter Testlauf bewertete zusätzlich Stimme und Empathie.
Betroffen sind examinierte Pflegekräfte, die im telefonischen Beratungs- und Triage-Dienst über die weitere Versorgung der Anrufer entscheiden. Nach Darstellung der Gewerkschaft geraten sie unter Druck, sobald ein Anruf länger als 15 Minuten dauert. Zwischen zwei Gesprächen bleiben ihnen oft nur noch 30 Sekunden statt der früheren rund zehn Minuten.
Besonders heikel war ein KI-System, das im Sommer 2024 den Tonfall und die Empathie in der Stimme bewerten sollte. Der Test ist im November 2024 beendet worden, könnte aber zurückkehren. Kaiser Permanente weist die Vorwürfe zurück: Der Konzern nutze keine durchschnittliche Bearbeitungszeit zur Leistungsbewertung, alle Werkzeuge im Callcenter dienten der Qualitätssicherung und stünden unter menschlicher Aufsicht.
Warum Kennzahlen die Versorgung verschlechtern
Sobald eine Kennzahl zum Ziel wird, optimieren Beschäftigte die Zahl statt die eigentliche Aufgabe, ein Effekt, den Ökonomen als Goodharts Gesetz kennen.
Eine Triage-Pflegekraft, die auf kurze Gesprächszeiten getrimmt ist, drängt selbst dann zum Auflegen, wenn am anderen Ende jemand über Suizidgedanken oder eine schwere Diagnose spricht. Die Kennzahl sieht danach gut aus, die Versorgung leidet.
Kaiser steht damit nicht allein, das Vorgehen folgt einem Muster. Erst kürzlich haben frühere Meta-Beschäftigte dem Konzern vorgeworfen, KI-Scores hätten Kranke gezielt auf Entlassungslisten gebracht. Die Technik verschiebt Entscheidungen von Menschen auf Metriken, ohne dass jemand die Verantwortung dafür übernimmt.
Sobald ein Unternehmen Empathie messbar machen will, hat es sie schon abgeschafft. Nicht die KI entscheidet falsch, sondern die Kennzahl, die wir ihr vorgeben.
— Markus Seyfferth, Chefredakteur Dr. Web
Was Software im Callcenter misst und wo Europa die rote Linie zieht.
EU AI Act, Artikel 5
Verboten sind KI-Systeme, die am Arbeitsplatz Emotionen aus biometrischen Daten wie der Stimme ableiten. Kaisers Empathie-Test wäre in Europa illegal. Ausnahmen gelten nur für Medizin und Sicherheit.
§ 87 Abs. 1 Nr. 6 BetrVG
Der Betriebsrat entscheidet mit, sobald eine technische Einrichtung Leistung oder Verhalten überwachen kann. Das Bundesarbeitsgericht ließ 2024 schon die bloße Eignung genügen.
Was gilt für deutsche Arbeitgeber?
In der EU ist die Emotionserkennung am Arbeitsplatz seit dem 2. Februar 2025 verboten, und in Deutschland macht schon die bloße Eignung zur Überwachung ein System mitbestimmungspflichtig.
Der EU AI Act untersagt in Artikel 5 KI-Systeme, die am Arbeitsplatz Emotionen aus biometrischen Daten ableiten[1]. Genau das hätte Kaisers Stimm- und Empathieanalyse getan. In Europa wäre dieser Testlauf schlicht illegal gewesen, denn Ausnahmen gelten nur für medizinische oder Sicherheitszwecke. Auch bei anderen Konzernen zwingt das Regelwerk gerade zum Umdenken.
Für Tempo- und Produktivitätsmessung greift zusätzlich das Betriebsverfassungsgesetz. Nach § 87 Absatz 1 Nummer 6 hat der Betriebsrat ein echtes Mitbestimmungsrecht bei technischen Einrichtungen, die Verhalten oder Leistung überwachen können. Das Bundesarbeitsgericht hat 2024 klargestellt, dass bereits die potenzielle Überwachung genügt, unabhängig davon, ob Daten gespeichert werden.
Vor der Einführung von Callcenter-Software, KI-Assistenten oder Produktivitätstools klären Arbeitgeber deshalb am besten früh drei Punkte:
- die Rechtsgrundlage nach DSGVO für jede erhobene Kennzahl,
- die frühzeitige Beteiligung des Betriebsrats,
- und die Frage, ob das System Emotionen aus Stimme, Text oder Gesicht ableitet.
Der Fall Kaiser ist damit weniger eine US-Geschichte als eine Blaupause. Die passende Technik steht bereit, die europäischen Regeln stehen längst, und wer beides früh zusammendenkt, erspart sich teure Nachbesserungen und den Ärger mit der eigenen KI-Strategie.
Quelle
[1] EU-Kommission: „AI Act, Artikel 5: Verbotene KI-Praktiken“ ↩
Mehr Newshunger?
- Klage gegen Meta: KI-Scores sollen Kranke und Eltern auf die Entlassungsliste gebracht haben
- Allianz und die KI: Warum der Versicherer die Effizienz zum Nebenprodukt macht
- 300 Titel mit generativer KI: Was Netflix’ KI-Offenbarung für Europa bedeutet
- GitLab 19.2: geprüfte KI-Agenten gegen die Flut an KI-Code
- Elf Android-Funktionen und die Suchdaten: Brüssel diktiert Google die Öffnung für KI-Rivalen
