Ein KI-Telefonassistent sollte bei der Apothekenkette Kinney Drugs die Rezept-Anrufe abnehmen. Stattdessen blieben Arzneinamen in der Ansage unverständlich; Patienten bestätigten Nachbestellungen, die niemand brauchte. Eingehende Anrufe laufen künftig wieder über das alte Tastenmenü.
drweb.de als bevorzugte Quelle auf Google hinzufügenQualitätsgeprüfte Inhalte direkt in Google News & DiscoverJetzt hinzufügen
Vier volle Fläschchen eines Medikaments stapelten sich bei einer Kundin in Vermont, die das Präparat nur zweimal pro Woche einnimmt. Fast täglich rief der Assistent an, ohne den Namen des Mittels verständlich zu nennen. Rund ein Dutzend Kunden der Kette schilderten dem Rechercheportal VTDigger ähnliche Fälle.
Das Wichtigste in Kürze
- Spracherkennung ersetzte das deterministische Tastenmenü, ein Rückweg über die Tastatur fehlte.
- Die eigenen Nutzungsbedingungen räumen Missverständnisse ein und verlagern die Kontrolle zurück auf den Apotheker.
- Seit dem 2. August 2026 verlangt Artikel 50 der KI-Verordnung eine Kennzeichnung ab der ersten Sekunde des Gesprächs.
Warum versteht der Telefonassistent die Arzneinamen nicht?
Zwei Systemtypen prallen hier aufeinander. Ein Tastenmenü ordnet jedem Tastendruck genau einen Befehl zu, eine Fehlerquote existiert dort nicht. Spracherkennung liefert stattdessen eine Wahrscheinlichkeit, und Arzneinamen sind ihr schwierigster Fall: lang und untereinander verwechselbar. Bei Kinney Drugs fiel zugleich der Tastenweg weg.
Die Nutzungsbedingungen der Kette sagen das Problem selbst voraus. Der Assistent kann demnach eine Frage missverstehen und eine andere beantworten; eine Zusage auf Richtigkeit oder Vollständigkeit gibt Kinney Drugs ausdrücklich nicht, wichtige Auskünfte soll der Patient mit einem Apotheker abgleichen.[1] Genau diese Prüfarbeit sollte die Automatisierung einsparen.
Die Anrufe verlagerten sich, statt zu verschwinden: Kunden wandten sich häufiger direkt an das Personal. Gezählt wurden aber abgefangene Anrufe, nicht gelöste Anliegen. Klarna stellte 2025 wieder Servicekräfte ein, nachdem eine KI zuvor die Arbeit von rund 700 Beschäftigten übernommen hatte. Beim Stellenabbau berief sich zuletzt auch Uber auf seine KI im Kundenservice.
Wer hat diesen Anrufen eigentlich zugestimmt?
Die Telefonnummer genügt. Mit der Weitergabe der Nummer stimmt der Patient automatisierten Sprachanrufen und Textnachrichten zu, hält Kinney Drugs in den Bedingungen für Sprachanrufe fest.[2] Der Widerspruch bleibt möglich, kommt aber immer erst nach dem ersten Anruf. Mehrere Kunden erfuhren von der Umstellung überhaupt erst am Apparat.
Ein zweiter Empfänger kommt hinzu. Gebaut hat den Assistenten der Technologieanbieter Synerio aus Texas, der damit Zugriff auf Verordnungsdaten erhält. Der Informatiker Joseph Near von der University of Vermont wertete diese zusätzliche Station gegenüber VTDigger als Rückschritt beim Datenschutz. Wie schnell Gesundheitsdaten in fremde Systeme wandern, zeigte der Fall des Telemedizin-Anbieters Hims & Hers.
Kinney räumt ein, an der falschen Stelle zufrieden gewesen zu sein. „Datenschutz und Sicherheit richtig hinzubekommen heißt nicht, dass wir das Erlebnis richtig hinbekommen haben. Haben wir nicht, und dazu stehen wir“, sagte Präsident John Marraffa dem Fernsehsender WCAX. Ausgehende Nachrichten verschickt der Assistent weiter, künftig nur nach aktiver Anmeldung.
Der Assistent von Kinney Drugs hat den Datenschutz überstanden und ist an der Verständlichkeit einer Ansage gescheitert. Ein falsch verstandener Arzneiname bindet im Backoffice mehr Zeit, als das alte Tastenmenü je gekostet hat.
— Markus Seyfferth, Chefredakteur Dr. Web
Was Kundinnen und Kunden gemeldet haben
Was in den Nutzungsbedingungen von Kinney Drugs steht
- Die Weitergabe der Telefonnummer gilt als Zustimmung zu automatisierten KI-Anrufen.
- Ein Widerspruch bleibt jederzeit möglich, greift aber erst nach dem ersten Anruf.
- Der Assistent kann eine Frage missverstehen und eine andere beantworten.
- Wichtige Auskünfte bestätigt am Ende ein Apotheker.
Was gilt für Apotheken in Deutschland?
Seit dem 2. August 2026 greift Artikel 50 der KI-Verordnung: Anbieter müssen ein System, das direkt mit Menschen spricht, so gestalten, dass der Gesprächspartner von der ersten Interaktion an eine KI erkennt.[3] Dieselbe Frist trifft die Nutzer von SAPs Assistenten Joule, während die Hochrisiko-Pflichten erst Ende 2027 greifen.
Die Beratung wäre in einer deutschen Apotheke ohnehin gesperrt. Nach Paragraf 20 Absatz 1 der Apothekenbetriebsordnung liegt die Beratung über Arzneimittel bei den Apothekern; übernehmen darf sie nur schriftlich benanntes pharmazeutisches Personal.[4] Eine Stimme aus dem Rechenzentrum zählt zu keiner der beiden Gruppen. Artikel 9 der Datenschutz-Grundverordnung verlangt für Gesundheitsdaten zudem eine ausdrückliche Einwilligung, und eine hinterlegte Rufnummer ist keine.
Zwei Bausteine entscheiden vor dem Start über den Ausgang: die Kennzeichnung im ersten Satz des Gesprächs und ein Rückweg über die Tastatur, den niemand erfragen muss. Beides kostet wenig und hält den Anruf im Zweifel bei einem Menschen. Für die Auswahl hilft der Überblick über die besten Kundenservice-Plattformen 2026, für die Einordnung die KI-Berichterstattung von Dr. Web.
Quellen
[1] Kinney Drugs: „Kinney Drugs Vaccine Eligibility Assistant Terms of Use“ (Stand 29. September 2025)
[2] Kinney Drugs: „Pharmacy Voice Calls and Text Messaging Communications Terms“ (Stand 12. Mai 2026)
[3] Europäische Kommission: „Transparency obligations under Article 50 of the AI Act“
[4] Bundesministerium der Justiz: Paragraf 20 Apothekenbetriebsordnung, Information und Beratung
Mehr Newshunger?
- Uber streicht jeden zehnten Kundenservice-Job und beruft sich auf KI
- Transparenzpflichten ab 2. August: Warum die KI-Verordnung bei Joule den SAP-Kunden trifft
- KI-Verordnung: Hochrisiko verschoben, Bußgeld bleibt
- Samsung Health droht mit Löschung der Daten, wenn Nutzer das KI-Training ablehnen
- Freigabe von KI-Agenten: Menschen übersahen jede dritte Bedrohung
- KI im CRM: Was heute schon geht und was als Nächstes kommt
