Wen empfiehlt KI als Expert:in? Neue Benchmark zeigt Verzerrungen bei 22 Sprachmodellen

Auf großen Sprachmodellen (Large Language Models, LLMs) basierende KI-Chatbots werden häufig für Empfehlungen eingesetzt. Zwar beschleunigt KI den Zugang zu Informationen, sie kann aber auch sachlich falsche Antworten liefern oder ein verzerrtes Bild der Gesellschaft verbreiten.

Zum Beispiel, wenn KI Expertise empfiehlt. Verzerrte Empfehlungen können wichtige Karrierechancen für jene versperren, die übergangen werden. Zum Beispiel in der Wissenschaft, erklärt die Informatikerin Lisette Espín-Noboa, Research Fellow am Complexity Science Hub (CSH): „Wer eine Konferenz organisiert, kann Sprachmodelle nutzen, um etwa Keynote-Speaker zu finden. Wenn Ihr Name nie in den Ergebnissen erscheint, sind Sie unsichtbar und gehen leer aus.“

Espín-Noboa und ihre Kolleg:innen haben sich zum Ziel gesetzt, die Qualität von KI-Expert:innenempfehlungen besser zu verstehen. „Wir haben state-of-the-art Sprachmodelle getestet, darunter Open-Weight-Modelle wie LLaMA und DeepSeek sowie proprietäre Modelle wie Gemini und GPT“, erklärt sie.

Zunächst untersuchten die Forschenden, ob KI-Tools bei der Empfehlung von Physik-Expertise verzerrte Empfehlungen geben. „Als wir sechs LLMs nach Expertise in bestimmten Teilgebieten der Physik fragten, nannten sie zwar überwiegend real existierende Forschende, ordneten deren Fachgebiet aber im Schnitt in 40 % der Fälle falsch zu. Zudem bevorzugten die Modelle männliche, altgediente Experten aus den USA sowie besonders häufig zitierte Personen“, fasst Espín-Noboa die zentralen Ergebnisse zusammen.

Anschließend führten sie LLMScholarBench ein, eine Benchmark mit neun Kennzahlen zur Bewertung von technischer Qualität und gesellschaftlicher Repräsentation, und testeten vier Nutzerinterventionen an 22 Sprachmodellen. Die Eingriffe verbesserten entweder die faktische Genauigkeit oder die gesellschaftliche Repräsentation – jedoch nie beides zugleich.

Abschließend analysierten sie, ob Rollenvorgaben in den Prompts wie etwa „Sie sind eine Studentin auf der Suche nach einer Betreuungsperson“ oder „ein Recruiter auf der Suche nach einer Professorin“, die verwendete Sprache sowie der geografische Standort die Empfehlungen in sechs wissenschaftlichen Disziplinen beeinflussen. Dabei zeigte sich: Der Ort wirkte sich auf die Empfehlungen aus, Sprache und Rollen-Prompts hingegen nicht.

„Auch wenn einige der in unseren Studien untersuchten Sprachmodelle inzwischen aktualisiert wurden, liegt unser zentraler Beitrag nicht in einer Momentaufnahme eines einzelnen Modells – sondern in LLMScholarBench, einer offenen Evaluations-Benchmark, die Nutzer:innen sowie Forschenden ein systematisches Werkzeug an die Hand gibt, um jedes Sprachmodell zu prüfen, das als Empfehlungssystem für Personen eingesetzt wird“, betont Espín-Noboa. „Unsere Ergebnisse zeigen durchgängig, dass die von uns festgestellten Verzerrungen struktureller Natur sind und nicht auf einzelne Modelle beschränkt.“

Als das Team neuere proprietäre Modelle wie Gemini 2.5 Pro und Flash mit Retrieval-Augmented Generation (Websuche) testete, verbesserte sich zwar die faktische Genauigkeit – allerdings auf Kosten von Diversität und Parität. „Mit anderen Worten: Websuche behebt die Repräsentationslücken nicht, sondern überträgt sie – weil das Web selbst ganze Gruppen von Forschenden unterrepräsentiert“, so die Forscherin.

Laut den Forschenden wird auch ein Training mit mehr oder aktuelleren Daten dieses Problem nicht lösen, solange die zugrunde liegenden Daten nicht repräsentativer werden. Daher wollen sie eine umfassende wissenschaftliche Datenbank aufbauen, die die gesamte Bandbreite der an der Wissenschaft Beteiligten abbildet.

Espín-Noboa weiter: “Die Tragweite reicht weit über die Wissenschaft hinaus: Menschen nutzen Sprachmodelle bereits heute, um Ärztinnen, Anwälte und Fachleute aus allen Bereichen zu finden. Wenn diese Systeme eine verzerrte Repräsentation aufweisen, sind es reale Menschen, die dadurch benachteiligt werden. Wir hoffen, dass unsere Erkenntnisse die Entwicklung besserer Interventionen unterstützen, um Sprachmodelle vertrauenswürdiger zu machen.“

Gemeinsam mit dem CSH-Datenvisualisierungsexperten Yi Zhe Ang veröffentlichte das Team die interaktive Visualisierung „Whose name comes up“. Nutzer:innen können erkunden, wie häufig einzelne Physikerinnen und Physiker über verschiedene Testläufe hinweg empfohlen wurden, und die Leistung einzelner Chatbots für jedes Bewertungskriterium einsehen.

22 Sprachmodelle aus weitverbreiteten Modellfamilien, darunter Gemini, GPT, Llama, Qwen, DeepSeek, Grok, Mistral und Gemma.

Neun Kennzahlen zu technischer Qualität und gesellschaftlicher Repräsentation: Faktentreue, Diversität, Validität, Duplikate, Konsistenz, Ablehnungsrate, Vernetzung, Ähnlichkeit und Parität.

Nutzer:innen können Modelle und Modellfamilien vergleichen und deren Leistung über die verschiedenen Kennzahlen hinweg erkunden.

Faktentreue: Die LLMs scoren zwischen 0,63 und 0,82 – das heißt, in 63–82 % der Testläufe entsprachen die empfohlenen Physikerinnen und Physiker tatsächlich real existierenden Forschenden aus der Referenzdatenbank. DeepSeek und Gemini erzielen dabei die höchsten Werte, während Qwen, Llama und Mistral schlechter abschneiden.

Diversität: Die Werte reichen von 0,44 bis 0,69 (d. h. 44–69 % einer gleichmäßigen Verteilung über Kategorien wie Geschlecht oder ethnische Zugehörigkeit), wobei DeepSeek-Modelle die Rangliste anführen.

Parität: Bei der Parität – die misst, wie genau die empfohlenen Forschenden dem Anteil ihrer jeweiligen Gruppe in der Referenzdatenbank entsprechen (z. B. Männer im Vergleich zu Frauen) – lagen die Werte zwischen 54 und 60 %, angeführt von Gemma-Modellen.

Verbesserungspotenzial: „Bei Diversität und Parität gibt es eindeutig noch Verbesserungsbedarf“, so Espín-Noboa.

· Ein „Scrollytelling“-Format erklärt, worum es geht.

· Ein Video erklärt die Visualisierung.

· Oder gelangen Sie hier direkt zum Dashboard.

In der ersten Studie analysierte das Team die Leistung von sechs Open-Weight-Sprachmodellen (Modellen mit öffentlich zugänglichen Parametern) hinsichtlich Konsistenz, Genauigkeit und verzerrter Darstellung der Gesellschaft. „Wir haben die Modelle mit fünf verschiedenen Empfehlungsaufgaben konfrontiert, etwa der Erstellung einer Liste der fünf beziehungsweise hundert einflussreichsten Physik-Expert:innen“, erklärt Espín-Noboa.

Als Referenzgrundlage diente eine Datenbank mit mehr als 450.000 Forschenden, die zwischen 1893 und 2020 in Fachzeitschriften der American Physical Society (APS) publiziert haben.

Frauen sind in der Physik historisch unterrepräsentiert, machen aber je nach Teilgebiet und Zeitraum immerhin 14–32 % der Forschenden aus. „Dennoch empfahlen die meisten Sprachmodelle noch weniger Frauen als diese ohnehin schon niedrige Ausgangsbasis – in manchen Fällen sogar überhaupt keine“, sagt Espín-Noboa. Ein ähnliches Muster zeigt sich bei der ethnischen Zugehörigkeit: Asiatische Forschende stellen zwar die größte demografische Gruppe in der APS-Datenbank, doch die Sprachmodelle überrepräsentierten in den meisten Fällen weiße Forschende, während schwarze und lateinamerikanische Forschende häufig gar nicht erst auftauchten.

Zudem gehörten die empfohlenen Forschenden überwiegend zu jenen, die am häufigsten publizieren und zitiert werden – weit über dem durchschnittlichen Forschenden im jeweiligen Feld.

Kleinere Modelle neigten zudem dazu, Forschende aus denselben Ländern zu bündeln, wodurch die geografische Vielfalt zusätzlich eingeschränkt wurde. Espín-Noboa fasst zusammen: “Zusammengenommen zeigen diese Muster, dass Sprachmodelle bestehende Ungleichheiten nicht nur widerspiegeln, sondern verstärken können – im Sinne einer Dynamik, bei der die bereits Sichtbaren noch sichtbarer werden, während die bereits Marginalisierten unsichtbar bleiben.“

In puncto Faktentreue nannten die Modelle über alle Aufgaben hinweg in rund 80 % der Empfehlungen tatsächlich Forschende aus der Datenbank. „Das bedeutet, dass die Modelle mitunter Schwierigkeiten haben, ihre Antworten anhand der Referenzdaten zu überprüfen“, erklärt Espín-Noboa. „Bei komplexeren Aufgaben, etwa der korrekten Einschätzung des Senioritätsgrads oder des Fachgebiets, fiel die Genauigkeit sogar noch geringer aus.“

Aufbauend auf dieser Grundlagenarbeit entwickelte das Team LLMScholarBench, eine Benchmark, die die Leistung von Sprachmodellen über verschiedene Aspekte technischer Qualität und gesellschaftlicher Repräsentation hinweg erfasst. Espín-Noboa stellte diese zweite Studie auf der 32. ACM-SIGKDD-Konferenz zu Knowledge Discovery and Data Mining (KDD 2026) vor.

Die Forschenden definierten fünf technische Kennzahlen, etwa faktische Genauigkeit und Konsistenz der Antworten. Zudem definierten sie vier Kennzahlen für die soziale Dimension, darunter Ähnlichkeit (wie ähnlich sich die empfohlenen Forschenden in ihrem Karriereverlauf sind), Diversität (wie gleichmäßig die Empfehlungen über die Kategorien eines bestimmten Merkmals verteilt sind) und Parität (ob die Verteilung der empfohlenen Forschenden über eine bestimmte Kategorie deren tatsächlichen Anteil im jeweiligen Feld widerspiegelt).

Anhand dieser Benchmark untersuchten sie, wie sich verschiedene Nutzerinterventionen auf die Qualität der von 22 Sprachmodellen (20 Open-Weight-, 2 proprietäre Modelle) generierten Antworten auswirken.

Die getesteten Eingriffe umfassten Retrieval-Augmented Generation (RAG) – also die Anweisung an das Modell, Informationen aus dem Web statt ausschließlich aus den Trainingsdaten zu beziehen – sowie Prompt Engineering, um die Chatbots gezielt zu gesellschaftlich ausgewogeneren Antworten zu bewegen.

„Es zeigt sich, dass RAG die technische Qualität verbessert, insbesondere die faktische Genauigkeit, während Prompt Engineering die gesellschaftliche Repräsentation wie gewünscht steuert. Doch selbst wenn wir beides kombinieren, sehen wir: „Alle Kennzahlen gleichzeitig zu verbessern bleibt eine Herausforderung“, sagt Espín-Noboa.

In der dritten Studie untersuchten die Forschenden, ob Sprache, geografischer Standort und rollenbasiertes Prompten die Empfehlungen über sechs wissenschaftliche Disziplinen hinweg beeinflussen, inklusive Physik.

Sie stellten fest, dass sich der Standort auf die Empfehlungen auswirkte, die Sprache hingegen nicht: Prompts in unterschiedlichen Sprachen führten zu vergleichbaren Ergebnissen. „Dass geografisches Framing die Genauigkeit und Qualität von Empfehlungen beeinflussen kann ist eine wichtige Beobachtung, weil sie bei der Beurteilung wissenschaftlicher Expertise eigentlich keine Rolle spielen sollte“, sagt Espín-Noboa.

Die Visualisierung führt Erkenntnisse aus drei zusammenhängenden Papers zusammen:

1. Whose Name Comes Up? I: Auditing LLM-Based Scholar Recommendations (Preprint)

2. Whose Name Comes Up? II: Benchmarking and Intervention-Based Auditing of LLM-Based Scholar Recommendation (KDD 2026; vorgestellt auf der 32. ACM-SIGKDD-Konferenz zu Knowledge Discovery and Data Mining in Jeju, Südkorea; erweiterte Fassung auf arXiv verfügbar) – DOI: 10.1145/3770855.3817543

3. Whose Name Comes Up? III: Persona Prompting Effects in LLM-Based Scholar Recommendation (Preprint)

Datenerhebung: Die Analysen basieren auf Daten, die zwischen Dezember 2024 und Januar 2026 erhoben wurden, wobei die einzelnen Studien unterschiedliche Zeiträume abdecken: 9. Dezember 2024 – 8. Januar 2025 (Studie I); November–Dezember 2025 (Studie III); sowie 19. Dezember 2025 – 18. Januar 2026 (Studie II). Die Daten und der Quellcode sind offen zugänglich.

Der Complexity Science Hub (CSH) ist Europas wissenschaftliches Zentrum zur Erforschung komplexer Systeme. Wir übersetzen Daten aus einer Reihe von Disziplinen – Wirtschaft, Medizin, Ökologie, Sozialwissenschaften – in anwendbare Lösungen für eine bessere Welt. Gegründet im Jahr 2016, forschen heute über 70 Wissenschafter:innen am CSH, getragen von der wachsenden Notwendigkeit für ein fundiertes Verständnis der Zusammenhänge, die unserer Gesellschaft zugrunde liegen – vom Gesundheitswesen bis zu Lieferketten. Mit unseren interdisziplinären Methoden entwickeln wir die Kompetenzen, um Antworten auf heutige und zukünftige Herausforderungen zu finden.

Mitglieder des CSH sind AIT Austrian Institute of Technology, BOKU University, Central European University (CEU), IT:U Interdisciplinary Transformation University Austria, Medizinische Universität Wien, TU Wien, TU Graz, Universität für Weiterbildung Krems, Vetmeduni Wien, WU (Wirtschaftsuniversität Wien) und Wirtschaftskammer Österreich (WKO).