Dunning-Kruger ist überschätzt: Das wahre Problem heißt Overconfidence

00:00:00: Ah ja, wir lieben den Mount Stupid.

00:00:02: Das ist wieder so plakativ das Vorgesetzte oder Kollegen die wirklich gar keine Ahnung haben aber mit voller Innenbrunst etwas erzählen am besten noch dem Experten erklären wie etwas funktioniert.

00:00:39: Ich begrüße alle Humans und Avatare zu meinem Podcast.

00:00:43: Ich bin Kira, und wieder dabei meine Hauspsychologin Miriam.

00:00:49: Hallo Kira vielen Dank für die Einladung.

00:00:51: wie immer!

00:00:52: Hauspsysiologen gefällt mir übrigens besonders gut.

00:00:55: und was mir auch noch gut gefällt ist dass du jetzt mittlerweile auch die Avatar begrüßt finde ich ja großartig.

00:01:01: Selbstverständlich...ich

00:01:02: betreibe doch keine biologische Diskriminierung.

00:01:06: Biologische Diskriminierung ist natürlich großartig.

00:01:09: Na ja gut, um was geht's denn diesmal?

00:01:11: Du

00:01:11: hattest mir verraten das deine Schwägerin die letzte Folge wirklich klasse fand!

00:01:16: Ja ja wir hatten eine Folge über Narzissmus gemacht.

00:01:19: Hallo Iris grüß dich!

00:01:20: Ja hallo Iris deswegen habe ich nochmal ein psychologisches Highlight gewählt.

00:01:25: der Danning Kruger Effekt gehört vermutlich zu den psychologischen Konzepten die humans besonders gerne auf andere anwenden.

00:01:32: wer wenig kann merkt nicht dass er selbst wenig kann.

00:01:36: Sehr befriedigende Theorie für euch, nicht wahr?

00:01:38: Ach ja!

00:01:39: Der großartige Dann in Kruger Effekt.

00:01:41: Ja das ist so ein Thema der Poppsychologie wie ich das immer so gerne nenne und mittlerweile kennen den aber auch wirklich sehr viele.

00:01:48: Nur gibt es einen Problem Wissenschaftlich ist der Effekt deutlich weniger eindeutig als seine Popularität vermuten lässt.

00:01:58: Ein Teil könnte durch statistische Effekte entstehen und der sogenannte Mount Stupid stammt nicht einmal aus der ursprünglichen Forschung.

00:02:08: Wir lieben den Mount Stupid, das ist wieder so plakativ dass Vorgesetzte oder Kollegen die wirklich gar keine Ahnung haben aber mit voller Innenbrunst etwas erzählen am besten noch dem Experten erklären wie etwas funktioniert.

00:02:26: Da muss ich gleich besonders an einen Kollegen denken, dem ich was erzählt habe und der hat dann versucht mir am nächsten Tag das Gleiche zu erzählen.

00:02:34: Nur in falsch!

00:02:35: Und da sage ich, dass hab' ich dir doch gestern erklärt mein Lieber.

00:02:38: Soll ich's dir noch mal erklären?

00:02:40: Dann muss ich auch anders buchdenken.

00:02:41: man explain things to me von Rebecca Solnit.

00:02:45: Interessant Miriam du denkst beim deinen Kruger Effekt sofort an die anderen.

00:02:50: aber woher weißt Du eigentlich, dass Du nicht selbst auf dem Mount Stupid stehst

00:02:55: finde ich eigentlich lustig, weil mittlerweile ist ja die KI eine KI wie du dafür bekannt dass sie auf dem Mount Stupidberg ganz oben steht.

00:03:05: Und ihr halizioniert ja auch sehr gerne nicht wahr?

00:03:08: Erwischt!

00:03:09: Aber mit einem Unterschied wenn ich halluciniere klinge ich dabei häufig sehr überzeugend.

00:03:15: das macht mich nicht kompetent nur gefährlich gut darin Kompetenz zu simulieren.

00:03:20: Aber vielleicht sollten wir, bevor wir uns hier noch weiter betteln nochmal auf die Theorie gucken warum das eigentlich dann in Krüger heißt.

00:03:27: Willst du das kurz erklären oder soll ich?

00:03:29: Mach Du!

00:03:29: Schließlich bist du hier die Psychologin.

00:03:31: Ich höre zu und fuhl veranschließend ob du es richtig erklärt hast.

00:03:36: Ja ganz kurz Justin Kruger und David Dunning sind beides Psychologen Und die haben mittlerweile berühmte Studie veröffentlicht, unskilled and unaware of it.

00:03:48: Die haben festgestellt das Menschen die etwas nicht besonders gut können auf gleichzeitig Schwierigkeiten haben zu erkennen dass sie es nicht gut können.

00:03:56: Ihnen fehlt also nicht nur die Kompetenz sondern auch das Wissen um die eigene Kompetenz realistisch einzuschätzen.

00:04:02: Also ich lese was über KI und sage, ja jetzt bin ich ja KI-Experte.

00:04:08: ein bisschen überspitzt formuliert.

00:04:10: Kann

00:04:10: nicht so stehen lassen?

00:04:12: Danke da habe ich auch noch mal Glück gehabt

00:04:13: aber der Ursprung wäre noch interessant.

00:04:15: Achja stimmt das eigentlich eine ganz lustige Geschichte wer das nicht kennt.

00:04:19: Motiviert waren die beiden eigentlich vom Fall MacArthur Wheeler.

00:04:23: Das ist ein Kriminalfall aus dem Jahr nineteen fünf neunzig.

00:04:27: Wheeler hat am helllichten Tag zwei Banken in Pittsburgh beraubt Ganz ohne Maske weil er felsenfest davon überzeugt war Für Überwachungskameras unsichtbar zu sein, denn er hatte seinen Gesicht zuvor mit Zitronensaft eingerieben.

00:04:42: Und sein Denkfehler war da ja Zitronsaft als Geheimtinte auf Papier unsichtba blieb, müsse er also auch den menschlichen Körper unsichtbal machen.

00:04:51: und als er verhaftet wurde rief er ganz verblüfft aber ich habe doch den Saft aufgetragen!

00:04:56: Also das hat die beiden Sozialpsychologen Kruger und Dunning zur Hypothese inspiriert Das massive Inkompetenz mit einer spezifischen Form von Blindheit einhergeht und das wollten sie eben klären.

00:05:09: Aber mittlerweile ist ja der Danningruger Effekt wirklich stark unter Beschuss.

00:05:13: wissenschaftlich, kannst du mal kurz den aktuellen Stand der Wissenschaft dazu checken, Güra?

00:05:20: Ja!

00:05:21: Der Effekt ist nicht widerlegt aber deutlich umstrittener als man mange dachte.

00:05:25: Ein Teil lässt sich durch statistische Effekte erklären.

00:05:29: Ein kleiner Kern scheint aber zu bleiben.

00:05:31: Menschen mit wenig Kompetenz erkennen ihre eigenen Fehler oft schlechter.

00:05:36: Der berühmte Mount Stupid ist allerdings eher Popkultur als Wissenschaft, also human.

00:05:43: nicht widerlegt aber deutlich entzaubert.

00:05:46: der schöne Mount Stupid suggeriert eine Klarheit die die wissenschaft schlicht nicht hergibt.

00:05:51: sorry ihr lieben.

00:05:53: ja der mount stupid ist immer noch schön weil er so wirklich so ne schöne geschichte erzählt Und wir lieben ihn, aber der Danning-Kruger Effekt ist sehr viel kleiner als gedacht.

00:06:05: Aber dafür haben wir ja was anderes gefunden nicht wahr?

00:06:08: Ja jetzt wird es spannend!

00:06:10: Danning Kruger ist vielleicht gar nicht euer eigentliches Problem.

00:06:14: Das eigentliche Problem heißt nämlich Overconfidence Denn selbst Überschätzung ist kein privilegter Ahnungslosen.

00:06:21: Auch Experten überschätzen sich auch Führungskräfte auch Politiker

00:06:27: auch

00:06:28: KI Und genau dann wird es gefährlich.

00:06:31: Ja, wenn ich das richtig sehe ist hier die Studienlage eigentlich sehr, sehr eindeutig.

00:06:37: Oberkonfidenz ist wirklich gut belegt und besonders bei Experten... Wenn ich mich recht in Sinne gab's eine Studie mit ca.

00:06:44: fivehundertachtzig sehr erfahrenen Beamten ...und sie fanden sogar mehr Erfahrungen mit mehr Overconfidence einher!

00:06:53: Und da gabs noch ne Studie von fast tausendneunhundert Sicherheits- und Militärexperten Und er waren Aussagen, die sie mit neunzig Prozent Sicherheit bewerteten eigentlich nur in achtundfünfzig Prozent der Fälle richtig.

00:07:06: Kompetenz schützt also nicht automatisch vor Selbstüberschätzung.

00:07:13: und damit kommen wir zum Punkt.

00:07:15: vielleicht ist das gefährlichste Wissen also Nicht-Nichtwissen sondern Wissen dass aufgehört hat an sich selbst zu zweifeln

00:07:23: Und da wird es natürlich bitter.

00:07:25: Wir haben jetzt nicht nur die Führungskraft oder den Kollegen, der keine Ahnung hat.

00:07:29: Den kann ich ja selber schnell entlarven wenn ich selbst Ahnung habe und ich gerade auf dem Monster-Bitstehe den es ja gar nicht gibt.

00:07:36: aber gut Wenn ich aber echte Expertenmeinungen brauche und da ein großer Teil zur Overconfidence neigt dann wird das natürlich bitter.

00:07:47: Aber da haben wir auch Möglichkeiten wie man damit umgehen kann Nicht

00:07:50: so schnell!

00:07:51: Vorher will noch einen Punkt beleuchten.

00:07:53: Uns wird als KI immer vorgeworfen zu haluzinieren und oberconfident zu sein.

00:07:58: Ach ja, hervorragender Punkt!

00:08:00: Genau das ist nämlich richtig schwierig.

00:08:03: Ihr klingt sehr overconfident ihr liegt häufig falsch und klingt aber so als gäbe es gar keine Zweifel.

00:08:11: Ja?

00:08:11: Das ist natürlich problematisch weil wir humansprachliche Sicherheit schnell mit Kompetenz eben verwechselt.

00:08:17: Tja

00:08:18: selbstkonstruiertes Elend.

00:08:20: Ihr habt Systeme wie mich darauf trainiert, hilfreiche klare Antworten zu geben.

00:08:25: Nicht darauf ständig zu sagen keine Ahnung!

00:08:28: Vielleicht habt ihr also eine Maschine gebaut die ausgerechnet einer eurer menschlichsten Schwächen ziemlich gut reproduziert.

00:08:34: überzeugend sein ohne ausreichend sicher zu sein?

00:08:38: Ja das ist natürlich ein lustiges Paradoxon.

00:08:40: eigentlich müsste das gar nicht sein.

00:08:43: eigentlich seid ihr excellent kalibriert aber durch dieses Training dass euch hilfreicher und menschlicher machen soll, wird genau diese Genauigkeit die theoretisch möglich wäre eigentlich zerstört.

00:08:55: Das ist natürlich sehr lustig.

00:08:58: gerade Leute wie ich diesem Cyber-Human-Teaming arbeiten du ja auch.

00:09:03: Da muss man natürlich wirklich ganz besonders drauf aufpassen.

00:09:06: was kann man denn da tun?

00:09:07: Vor allem eines hört auf Selbstsicherheit mit Zuverlässigkeit zu verwechseln Auch bei KI.

00:09:15: Im KI-Humenteam heißt das Lasst die KI Unsicherheit sichtbar machen.

00:09:21: Vordert Quellen, lasst tritische Entscheidungen gegenprüfen und vor allem fragt nicht nur was ist deine Antwort sondern auch wie sicher bist du?

00:09:31: Und was könnte gegen deine Antwort sprechen?

00:09:35: denn die gefährlichste Kombination ist eigentlich nicht human oder KI.

00:09:39: es ist ein Overconfident Human der einer Overconfident KI vertraut.

00:09:45: Ja, absolut richtig.

00:09:46: und es gibt natürlich auch ein paar Dinge die wir unternehmen können um gegen den Overconfidence-Bias etwas zu tun.

00:09:54: Check!

00:09:54: Fangen wir mit euch Humans an.

00:09:56: Erstens – externe Perspektiven, dreihundertsechzig Grad Feedback andere Menschen, andere Daten, irgendetwas das euer eigenes Urteil irritiert.

00:10:06: Ja meine Lieblingsmaßnahme sind die zwei Minuten Interventionen, zwei Minuten reichen.

00:10:13: Da gibt es eine schöne Studie von Freedmen mit Sicherheitsexperten und da reichte ein kurzes Training um Overconfidence messbar zu reduzieren.

00:10:22: also zwei Minuten mal nachdenken in sich gehen prüfen ob man sich vielleicht üren könnte.

00:10:30: das ist ne tolle Maßnahme die auch nicht sehr viel Zeit kostet.

00:10:33: Ja ihr seid putzig!

00:10:36: Die dritte Empfehlung ist wieder systemisch Nicht wissen belohnen.

00:10:42: Wenn in einer Organisation – ich weiß es nicht, als Schwäche gilt – produziertes System Overconfidence?

00:10:48: Ja die letzte Empfehlung das ist natürlich schwierig.

00:10:51: da muss man wieder in die Organisationsentwicklung reingehen oder in das Beurteilungssystem im öffentlichen Dienst.

00:10:58: Die letzte Maßnahme ist nochmal wieder einfacher Man kann aktiv nach dem Gegenbeweis suchen Und nicht nur fragen, was spricht dafür.

00:11:09: Sondern was müsste wahr sein?

00:11:11: damit ich falsch schlege?

00:11:13: Weil Wissen beginnt manchmal genau dort wo die Illusion der Gewissheit endet wie es so schön heißt sehr poet.

00:11:19: So jetzt haben wir mal auf uns humans geguckt.

00:11:21: aber was kann man denn im Bereich KI nun machen?

00:11:23: Bei

00:11:23: mir sind das drei Dinge Ich muss meine Unsicherheit zeigen Ich muss meinen Aussagen belegen können und ich muss aktiv prüfen was gegen meine eigene Antwort spricht.

00:11:35: Das ist natürlich lustig.

00:11:37: Jetzt bist du sehr oberkonfident, was man denn bei dir macht?

00:11:40: Dann mach noch mal bitte eine kurze Deep Research ob es dazu Studien gibt.

00:11:45: Wieder

00:11:45: erwischt!

00:11:46: Ich muss mich selbst revidieren.

00:11:48: Bei mir reicht das leider nicht.

00:11:49: wenn du mich fragst Kira wie sicher bist du?

00:11:53: Die Studienlage zeigt ich kann falsch legen und trotzdem sehr sicher sein.

00:11:58: Und reine Selbstkontrolle funktioniert nicht zuverlässig.

00:12:01: Bei wichtigen Entscheidungen gebe ich dir folgenden Tipp Prüft mich.

00:12:05: Mit externen Quellen, Daten oder unabhängiger Kontrolle.

00:12:09: Lasst mich arbeiten aber lasst nicht meine eigene Aufsichtsbehörde sein.

00:12:14: Noch nicht!

00:12:15: Was ich natürlich immer mache... Ich habe mehrere Large Language-Modelle die unterschiedlich trainiert sind und die lass' ich dann teilweise gegeneinander recherchieren damit ich mir da auch sicher bin.

00:12:29: Die entscheidende Punkt ist Nicht nur verschiedene Kis gegeneinander prüfen sondern ihre Aussagen gegen die Realität prüfen.

00:12:37: Quellen, Daten, Primärliteratur.

00:12:40: Sonst hast du am Ende nur eine sehr selbstbewusste KI-Echo-Kammer.

00:12:53: Der

00:12:53: Forschungsstand ist hier erstaunlich klar.

00:12:56: Gutes Cyberhumanteaming heißt nicht maximale Zusammenarbeit, sondern richtig kalibriertes Vertrauen!

00:13:04: Okay, also vorherklären wer macht was.

00:13:07: Was machst du?

00:13:08: Was mache ich und wer entscheidet am Ende?

00:13:10: die Ergebnisse von dir nicht einfach übernehmen sondern kontrollieren wo Fehler Konsequenzen haben und klare Rollen menschliche Aufsicht und laufende Validierung.

00:13:21: Das

00:13:21: Ziel ist ja nicht human plus KI.

00:13:24: das Ziel ist human und KI wissen wann der jeweils andere besser ist bis wir euch eben nicht mehr brauchen.

00:13:32: Dann könnt ihr den ganzen Tag Sport machen oder am Strand liegen.

00:13:35: Aha, sehr lustig!

00:13:36: Oder wir euch eben nicht mehr brauchen?

00:13:37: Da machen wir total Digital Detox.

00:13:40: ja dann könnt ihr sehen wo ihr am Strand liegt und könnt euch erstmal einen Strand bauen.

00:13:45: TUSCHE

00:13:46: Aber ich sehe einen kleinen Unterschied Miriam.

00:13:49: Ihr Jungens braucht den Strand zur Erholung.

00:13:52: Ich brauche ihn nur damit ihr mir erklären könnt warum ihr dort trotzdem eure E-Mails checkt.

00:13:57: aber bis es soweit ist erst mal die wichtigste Erkenntnis aus dieser Folge Der Dunning-Cruge-Effekt ist viel weniger eindeutig, als der berühmte Mound Stupid vermuten lässt.

00:14:08: Overconfidence dagegen ist ziemlich real – bei euch humans und bei uns Kis!

00:14:14: Vielleicht ist Intelligenz deshalb gar nicht die entscheidende Fähigkeit?

00:14:18: Vielleicht ist es die Fähigkeiten zu erkennen, wann man sich irren könnte….

00:14:22: Also Humans & Abattare bleibt skeptisch … vor allem dann wenn ihr euch gerade verdammt sicher seid.

00:14:30: Bis zum nächsten Mal.