Eine neue Studie hat gemessen, was geschieht, wenn Menschen bei schwierigen Fragen einen KI-Vorschlag vor sich sehen, der danebenliegt. Die Trefferquote ist auf ein Drittel gefallen, das Selbstvertrauen hat sich fast verdoppelt.
drweb.de als bevorzugte Quelle auf Google hinzufügenQualitätsgeprüfte Inhalte direkt in Google News & DiscoverJetzt hinzufügen
KI-Ratschläge haben in einem Experiment mit 3.132 Teilnehmern die Bereitschaft, „Ich weiß es nicht“ zu sagen, von 44 auf 3 Prozent einbrechen lassen[1]. Die Forschergruppe um Valerio Capraro von der Universität Mailand-Bicocca hat die Fragen dabei bewusst so konstruiert, dass die KI falsch lag. Damit misst die Arbeit nicht die Qualität der Modelle, sondern einen deutlich unangenehmeren Effekt.
Das Wichtigste in Kürze
- Fünf Experimente, 3.132 Teilnehmer, vier davon vorab registriert
- Die Trefferquote ist von 27 auf 9 Prozent gefallen, das Selbstvertrauen von 30 auf 76 Prozent gestiegen
- Der Effekt tritt auch dann auf, wenn niemand die KI um Rat gefragt hat
- Ein Geldanreiz für Genauigkeit repariert nur einen Teil des Schadens
Was hat die Studie tatsächlich gemessen?
Metakognitive Schwelle. Die Autoren beschreiben ihren Befund nicht als Genauigkeitsproblem, sondern als Verschiebung jener Schwelle, ab der ein Mensch sich für informiert genug hält, um zu antworten. Die Teilnehmer durften jederzeit passen, und genau diese Option haben sie in Gegenwart der KI praktisch nicht mehr gezogen.
Konstruierte Fehlberatung. Weil die Fragen so gebaut waren, dass der Vorschlag verlässlich falsch ausfiel, lässt sich das Ergebnis nicht als vernünftiges Delegieren an ein zuverlässiges Werkzeug wegerklären. Die Arbeit trennt damit sauber die bloße Verfügbarkeit von KI von ihrer Treffsicherheit.
Ungefragte Vorschläge. Der praktisch wichtigste Befund: Der Effekt hielt an, ob die Teilnehmer den Rat aktiv abgerufen hatten oder ob er ihnen nur eingeblendet wurde. Damit ist exakt der Arbeitsalltag von 2026 beschrieben, in dem KI-Antworten über der Trefferliste stehen und in der Seitenleiste des Office-Pakets mitlaufen, ohne dass jemand sie angefordert hätte.
Warum repariert ein Geldanreiz das nicht?
Halbe Korrektur. Als die Forscher richtige Antworten belohnt und falsche bestraft haben, ist die Bereitschaft zum Passen von 3 auf 8 Prozent gestiegen und die Trefferquote von 9 auf 16 Prozent. Beide Werte liegen weit unter dem Ausgangsniveau von 44 beziehungsweise 27 Prozent.
Grenzen der Governance. Für die betriebliche Praxis ist das die härteste Zahl der ganzen Arbeit, denn die üblichen Gegenmittel setzen genau hier an, von der Zielvereinbarung bis zum Sorgfaltsappell im Onboarding. Wenn ein direkter finanzieller Anreiz nur ein Drittel des Schadens auffängt, tragen Prozessregeln allein die Last nicht. Auf technische Kontrollen setzen deshalb auch die geprüften Agenten in GitLab 19.2.
Die teuerste Folge von KI im Betrieb ist nicht die falsche Antwort, sondern der Mitarbeiter, der aufgehört hat, sich unsicher zu fühlen.
— Markus Seyfferth, Chefredakteur Dr. Web
Fünf Experimente mit 3.132 Teilnehmern, bei denen die KI-Empfehlung nachweislich falsch war.
Antwort verweigert („Ich weiß es nicht“)
ohne KI → mit KI
Richtige Antworten
ohne KI → mit KI
Selbst eingeschätzte Sicherheit
ohne KI → mit KI
Geld allein repariert es nicht
Mit einer Belohnung für richtige und einer Strafe für falsche Antworten sind die Werte nur teilweise zurückgekehrt: 8 % Antwortverweigerung und 16 % Treffer. Beide Werte liegen weiterhin klar unter dem Ausgangsniveau ohne KI (44 % und 27 %).
Was bedeutet das für Unternehmen im DACH-Raum?
Artikel 4 greift bereits. Der EU AI Act verpflichtet Anbieter und Betreiber von KI-Systemen seit dem 2. Februar 2025 dazu, ein ausreichendes Maß an KI-Kompetenz bei allen Beschäftigten sicherzustellen, die solche Systeme bedienen[2]. Die Pflicht trifft jede Organisation, die KI-gestützte Werkzeuge einsetzt, unabhängig von der Risikoklasse.
Kompetenz ist mehr als Prompt-Training. In den meisten Schulungen geht es darum, bessere Ergebnisse aus dem Modell herauszuholen. Die Studie legt nahe, dass die wichtigere Übung in die andere Richtung zielt: die eigene Wissensgrenze auch dann zu erkennen, wenn eine flüssig formulierte Antwort danebensteht. Vier Punkte gehören deshalb in jedes Rollout:
- KI-Antworten in kritischen Prozessen nicht vorab einblenden, sondern aktiv anfordern lassen
- Ein explizites „unklar“ als zulässiges und dokumentiertes Ergebnis in Formularen und Tickets vorsehen
- In Schulungen mit Fällen arbeiten, in denen das Modell nachweislich falsch liegt
- Die Nachweise zur KI-Kompetenz nach Artikel 4 schriftlich führen, bevor die Bundesnetzagentur danach fragt
Der Befund reiht sich in eine Entwicklung ein, die auch der Einbruch der Fragen auf Stack Overflow sichtbar macht, und wie sehr KI am Arbeitsplatz zum Streitpunkt wird, zeigt der Fall der Pflegekräfte bei Kaiser Permanente. Prüfen Sie im nächsten Schritt, an welchen Stellen Ihrer Prozesse eine KI-Antwort ungefragt erscheint, und schalten Sie dort auf aktives Abrufen um.
Quellen
[1] Chiara Marcoccia, Walter Quattrociocchi, Valerio Capraro: „AI advice suppresses people’s willingness to say ‚I don’t know‘, even when the advice is wrong and accuracy is incentivized“, PsyArXiv-Preprint, 15. Juli 2026 ↩
[2] Europäische Union: Verordnung (EU) 2024/1689 (KI-Verordnung), Artikel 4 „KI-Kompetenz“ ↩
Mehr Newshunger?
- Was die KI mit Stack Overflow gemacht hat, in einer Grafik
- Kaiser-Pflegekräfte: KI und Arbeitsplatzüberwachung verschlechtern Job und Versorgung
- 300 Titel mit generativer KI: Was Netflix’ KI-Offenbarung für Europa bedeutet
- Allianz und die KI: Warum der Versicherer die Effizienz zum Nebenprodukt macht
- Der Stand der Open-Source-KI: 3,3 Prozent Rückstand, 4 Prozent vom Umsatz
- Alle KI-News auf Dr. Web
