Bias in Daten
Künstliche Intelligenz trifft immer mehr Entscheidungen. Doch was passiert, wenn die zugrunde liegenden Daten nicht neutral sind?
Geschlechtliche Voreingenommenheit in der Künstlichen Intelligenz
Künstliche Intelligenz beeinflusst zunehmend Entscheidungen in unserem Alltag – sei es bei der Bewerberauswahl, in der Medizin oder in Empfehlungssystemen. Was dabei oft übersehen wird: Die Algorithmen sind nur so „neutral“ wie die Daten, mit denen sie trainiert wurden. Und diese Daten tragen häufig gesellschaftliche Vorurteile in sich.
Ein besonders kritischer Aspekt dabei ist der sogenannte Gender Bias – also die geschlechtsspezifische Voreingenommenheit in datengetriebenen Systemen.
In diesem Artikel:
- erfahren Sie, welche Quellen und Arten von Bias es gibt,
- verstehen Sie anhand verschiedener Anwendungsbeispiele, wieso Gender Bias ein Problem,
- können Sie die Rolle, die Trainingsdaten für die Qualität der Vorhersage von Modellen spielen nachvollziehen und direkt verstehen, welche Effekte Gender Bias auf KI basierte Entscheidungen hat und
- bekommen Sie Lösungsmöglichkeiten gezeigt, wie man Gender Bias nicht nur erkennen, sondern auch vermeiden kann.
Bias in der KI-Anwendung
Anwendungsbeispiel für Bias in der Medizin
Herr Müller (58) kommt mit starken Schmerzen in der Brust, die bis in den linken Arm ausstrahlen. Er wirkt blass, schwitzt und hat Atemnot. Der Arzt ordnet sofort ein EKG und Blutuntersuchungen an. Wenige Minuten später steht die Diagnose: akuter Herzinfarkt. Herr Müller wird umgehend behandelt.
Frau Schneider (55) klagt über Übelkeit, Rückenschmerzen und Erschöpfung. Sie fühlt sich „komisch“ und hat Druck im Oberbauch. Der Arzt vermutet eine Magenverstimmung oder Stress. Ein EKG wird nicht sofort gemacht und sie wird nach Hause geschickt. Stunden später verschlechtert sich ihr Zustand – sie wird mit einem Herzinfarkt ins Krankenhaus eingeliefert.
Auch wenn dieses Beispiel plakativ erscheinen mag, so zeigt es doch, dass die Biologie der Geschlechter eine wesentliche Rolle bei der Diagnose von Erkrankungen und deren Therapie spielt und sich die Behandelnden darauf einstellen müssen und die Unterschiede kennen. Gerade in der Medizin gibt es viele Beispiele dafür, welchen großen Einfluss das Geschlecht auf die Diagnose und Therapie von Erkrankungen, aber auch deren Wahrnehmung und Beurteilung vom Geschlecht hat (Cleghorn 2021). In historischen und auch heutigen Fällen passiert diese Art von Fehleinschätzung nach wie vor – oft subtiler. Studien zeigen: Frauen warten im Schnitt länger auf EKGs bei Brustschmerzen. Selbst in Notaufnahmen kann es vorkommen, dass nicht standardisiert abgeklärt wird, wenn das Gesamtbild nicht „typisch männlich“ für einen Herzinfarkt wirkt (Sederholm Lawesson et al. 2018). Ihre Beschwerden werden häufiger psychologisiert, besonders bei atypischer Symptomatik (Greenwood et al. 2018).
KI unterstützt bei der Entscheidungsfindung
In unserem täglichen Leben sind wir von Künstlicher Intelligenz umgeben – oftmals ohne es zu bemerken. Navigation beim Reisen, Gesichtserkennung beim Entsperren des Smartphones, Serienempfehlungen beim Streamen, Produktempfehlungen beim Onlineshopping, Sprachbefehle bei Sprachassistenten in unseren Häusern und Wohnungen und wir geben Entscheidungskompetenz auch ein gutes Stück ab, indem wir Routenvorschlägen, Kaufempfehlungen oder Serienempfehlungen, die KI basiert getroffen werden und mit einem gewissen Prozentsatz zu uns passen, folgen. Wir setzen vermehrt Apps ein, um anhand von aufgenommenen Bildern etwa Hauterkrankungen per Telemedizin und mit KI-Unterstützung zu diagnostizieren, oder Apps, die Symptome bei Erkrankungen checken und Vordiagnosen ausgeben.
Wenn wir KI basierten Empfehlungen folgen, ist es sehr wahrscheinlich, dass wir nicht unmittelbar (oder überhaupt nicht) verstehen, wieso eine bestimmte Vorhersage oder Empfehlung getroffen wurde, da KI zunehmend auf Black Box Modellen basiert, da deren Vorhersagekraft häufig den klassischen Methoden statistischen Lernens überlegen sind – z. B. Deep Learning – was aber trotzdem nicht bedeutet, dass die Vertrauenswürdigkeit höher ist. Machine Learning zusammen mit großen Datenmengen bilden die Grundlage dafür, dass KI basierte Vorhersagen überhaupt funktionieren können. Durch das Training von Algorithmen mit großen Datensätzen entstehen Machine Learning Modelle, die für Vorhersagen eingesetzt werden. Getreu dem Motto „Garbage in – garbage out“ hängt die Qualität der Vorhersage zu einem großen Teil von der Qualität der Daten ab. Sind diese vollständig? Sind diese korrekt? Sind diese für die aktuelle Fragestellung geeignet? Man könnte noch präziser sagen: „Garbage in – biased out.“ Aller Anfang liegt also in den Daten und kann Ursache für Bias bei KI basierten Entscheidungen sein.
Probleme in Vorhersagen verstehen – Bias und Noise
Ein ganz wesentliches Problem bei Vorhersagen und Urteilen aller Art (mit und ohne KI), also nicht nur bei medizinischen Diagnosen, sondern auch bei Kreditwürdigkeitsprüfungen, Gerichtsurteilen im eigentlichen Sinn oder Personaleinstellungsentscheidungen – Bias und Noise – Verzerrung und Rauschen treten als Ursprung von Fehlern in Vorhersagen auf (Kahneman et al. 2023).
Bias und Noise auf der Zielscheibe
Werfe ich 10 Pfeile auf eine Zielscheibe, ist genau die Mitte mein Ziel. Treffe ich 10-mal in die rechte obere Ecke, so sind meine Vorhersagen zwar genau, aber nicht richtig, da sie systematisch vom Ziel abweichen. Mein Dartspiel hat also einen Bias, da ich genau werfe und treffe, dies also offensichtlich trainiert habe, aber mit dem falschen Ziel. Wenn ich hingegen 10-mal, wenn auch knapp, um das Ziel herum treffe, so ist meine Genauigkeit nicht optimal, meine Vorhersagen streuen – aber nicht mit einer Systematik, wie sie bei Bias zutage tritt.
Gender Bias beim Einsatz von KI bei der Diagnose eines Herzinfarkts
Wir wissen heute, dass bei Männern und Frauen andere Symptome bei einem Herzinfarkt auftreten. Während sich ein Herzinfarkt bei Männern durch Brustschmerzen zeigt, sind Symptome bei Frauen Übelkeit, Rückenschmerzen und Atemnot. Obwohl wir ein Geschlechterverhältnis von 50:50 haben, werden Symptome bei Frauen trotzdem „atypisch“ genannt. Wenn wir nun ein KI-System haben, welches Herzinfarkte datenbasiert vorhersagen soll, dann werden hier historische Daten benutzt, die häufig eine Dominanz männlicher Patienten haben, da medizinische Forschung oft Männer als Standardpatienten betrachtet. Es gibt also einen medizinischen geschlechterspezifischen Unterschied – der sich aber in den vorliegenden Daten nicht oder nur unzureichend niederschlägt. Symptome weiblicher Patienten sind unterrepräsentiert und es werden bei der Erkennung eines Herzinfarkts Symptommuster bei Männern zu stark gewichtet, sodass die Diagnose eines Herzinfarkts bei Frauen seltener oder falsch gestellt wird. Der Einsatz künstlicher Intelligenz sollte eigentlich zur Verbesserung der Diagnostik beitragen – tut aber genau das Gegenteil, indem ein in den Trainingsdaten eingebauter Gender Bias lebenswichtige Diagnosen bei Frauen beeinträchtigt, weil Trainingsdaten ungleichmäßig nach Geschlecht verteilt sind (Mihan et al. 2024).
Gender Bias ist eine Form von Bias
Während Gender Bias in der Medizin oder die Gender Pay Gap – also die ungleiche Bezahlung von Männern und Frauen für den gleichen Job bekannt sind, ist das Phänomen des Gender Bias in der Künstlichen Intelligenz weniger bekannt. Durch die massive Zunahme an Verfügbarkeit und Nutzung von KI ist Gender Bias in KI-Systemen zunehmend relevant und wichtig zu kennen, um die Aussagekraft und Validität von KI basierten Entscheidungen einordnen zu können.
Bias in KI-Systemen ist nicht offensichtlich
Gender Bias beim KI-Einsatz gibt es natürlich nicht nur in der Medizin. Ein prominentes Beispiel ist das Bewerbertool von Amazon, das in der Entwicklung aussortiert wurde, noch bevor es zum Einsatz kam – weil man feststellte, dass es Frauen systematisch benachteiligte. Der Grund: das System wurde mit Bewerbungen aus den vergangenen 10 Jahren trainiert – größtenteils von männlichen Bewerbern. Durch dieses Übergewicht wurden männliche Begriffe, Formulierungen und Attribute positiv gewichtet und Frauen schlechter bewertet – was zur Abschaltung des Systems führte (Dastin 2018). Weitere Beispiele könnten der Einsatz von KI bei Kreditvergabe & Scoring sein – Männer werden im Durchschnitt als kreditwürdiger eingestuft – oder in der Strafjustiz beim Einsatz von KI zur Rückfallprognose – mit einer häufigeren Einstufung von Männern als gefährlicher. Gender Bias bedeutet also eine geschlechterbezogene Verzerrung der Wahrnehmung – etwa durch Stereotype, Annahmen oder Bevorzugung. Dies führt schließlich zu einer falschen Darstellung geschlechterspezifischer Verhältnisse und schlägt sich in verzerrten, möglicherweise diskriminierenden Vorhersagen nieder.
Bias kann unterschiedliche Quellen haben
Wenn in Bereichen, in denen im puncto Gleichberechtigung schon Fortschritte gemacht wurden, KI-Systeme eingesetzt werden, deren Daten verzerrt sind – entsteht Gender Bias in den KI-Entscheidungen. Diese unterminieren die bereits gemachten Fortschritte.
Die Gefahr von Gender Bias beim Einsatz Künstlicher Intelligenz besteht darin, dass Fortschritte in puncto Gleichberechtigung und Sichtbarkeit von Benachteiligung wieder zurückgesetzt werden, wenn Algorithmen mit Daten, in denen sich ein Bias befindet, für Entscheidungsfindung eingesetzt werden. Im Wesentlichen wird durch KI das gelernt, was an Daten gezeigt wird. Sind Daten also stereotypenbehaftet oder enthalten Gender Bias, so zieht sich das in die Entscheidungen, die von diesen Modellen getroffen oder informiert werden, durch – auch, wenn dieses Thema in der Gesellschaft vielleicht bereits einen Fortschritt in puncto Gleichberechtigung gemacht hat (Leavy 2018).
Gegenmaßnahmen
Gender Bias ist ein eingebautes Feature in vielen KI-Systemen – häufig unbemerkt und unbeabsichtigt.
Verschiedene Maßnahmen können ergriffen werden, sodass es eben nicht zu Gender Bias in KI-Systemen kommt. Wir können technischen Maßnahmen ergreifen, organisatorische Maßnahmen und schließlich auch gesellschaftlich das Thema Gender Bias und KI angehen, um Bias zu erkennen, zu verhindern oder zu reduzieren.
» Kein Gender Bias geht vermutlich nicht. Die Bemühungen und Optimierung sollten aber dahingehen, dass Bias verringert und systematische Benachteiligung verhindert werden. «
Prof. Dr. Christian Prinz
Forschung zu Gender Bias und KI
Gender Bias und KI ist auch an der SRH Fernhochschule ein wichtiges Forschungsthema, wenn es um Qualitätssicherung von Daten und die Erklärbarkeit von künstlicher Intelligenz geht, mit dem Ziel, KI-Vorhersagen verständlich, nachvollziehbar, möglichst frei von Bias zu gestalten und unter Berücksichtigung der relevanten Informationen, die es für valide KI basierte Entscheidungen braucht.
Eine Analyse von elektronischen Patientenakten (Johnson et al. 2023) zeigt – basierend auf noch unveröffentlichten Ergebnissen (Mause, 2025) –, dass Frauen auf Intensivstationen häufiger psychiatrische Medikamente erhalten, Männer jedoch eine höhere Sterblichkeit aufweisen. Das deutet auf mögliche geschlechtsspezifische Behandlungsunterschiede hin und zeigt, wie wichtig eine Auswertung nach Geschlecht ist.
Mit der Veranstaltung „Women in Data Science“ haben wir ein durch unsere Professorin für empirische Sozialforschung, Prof. Dr. Daniela Ackermann-Piek eine Plattform geschaffen, um Diversität, Inklusion und Gender Equality im KI-Bereich zu diskutieren und an diesen Themen zu arbeiten (Online-Konferenz Women in Data Science (WiDS) | SRH Fernhochschule 2025).
Fazit
Gender Bias in der Künstlichen Intelligenz ist kein Randphänomen – er ist systemisch, tief in Daten und Algorithmen verwurzelt und wirkt sich unmittelbar auf Entscheidungen aus, die Menschen betreffen. Ob in der Medizin, bei Bewerbungen oder Kreditvergaben: Ungleichheiten in den Trainingsdaten führen zu ungleichen Chancen in der Realität.
Doch Bias ist kein unausweichliches Schicksal. Mit gezielten technischen, organisatorischen und gesellschaftlichen Maßnahmen lässt sich Gender Bias erkennen, reduzieren und in vielen Fällen vermeiden. Voraussetzung dafür ist ein Bewusstsein für das Problem – und der Wille, KI nicht nur leistungsstark, sondern auch fair zu gestalten.
Über die Autoren
Johanna Theresa Mause
Johanna Theresa Mause hat das Bachelorstudium Psychologie an der Friedrich-Schiller-Universität in Jena absolviert und befindet sich derzeit im Masterstudium Psychologie an der
SRH Fernhochschule – The Mobile University. In ihrer Abschlussarbeit untersucht sie u.a. geschlechterspezifische Unterschiede bei der psychiatrischen Versorgung von Patientinnen und Patienten auf Intensivstationen.
Prof. Dr. Christian Prinz
Christian Prinz ist Molekularmediziner und spezialisiert in MR-Neuroimmunpharmakologie und klinischen Datenwissenschaften. Nach Stationen in Erlangen, Parma, Berlin und Heidelberg als Wissenschaftler, später Projektmanager und Consultant in der medizinischen Softwareentwicklung lehrte Christian Prinz seit 2022 im Bereich Data Science & Analytics an der SRH Fernhochschule - The Mobile University als Fachdozent. Seit März 2025 hält er eine Professur für Data Science und Künstliche Intelligenz.
Literaturverzeichnis
Cleghorn, Elinor (2021): Unwell women. A journey of medicine and myth in a man-made world. London: Weidenfeld & Nicolson.
Dastin, Jeffrey (2018): Insight - Amazon scraps secret AI recruiting tool that showed bias against women. In: Reuters Media, 11.10.2018. Online verfügbar unter www.reuters.com/article/world/insight-amazon-scraps-secret-ai-recruiting-tool-that-showed-bias-against-women-idUSKCN1MK0AG/, zuletzt geprüft am 11.06.2025.
Greenwood, Brad N.; Carnahan, Seth; Huang, Laura (2018): Patient-physician gender concordance and increased mortality among female heart attack patients. In: Proceedings of the National Academy of Sciences of the United States of America 115 (34), S. 8569–8574. DOI: 10.1073/pnas.1800097115.
Kahneman, Daniel; Sibony, Olivier; Sunstein, Cass R. (2023): Noise. Was unsere Entscheidungen verzerrt - und wie wir sie verbessern können. München: Pantheon.
Leavy, Susan (2018): Gender bias in artificial intelligence. In: Erika Abraham (Hg.): Proceedings of the 1st International Workshop on Gender Equality in Software Engineering. ICSE '18: 40th International Conference on Software Engineering. Gothenburg Sweden, 28 05 2018 28 05 2018. Association for Computing Machinery-Digital Library; ACM Special Interest Group on Software Engineering. New York, NY: ACM (ACM Conferences), S. 14–16.
Mihan, Ariana; Pandey, Ambarish; van Spall, Harriette G. C. (2024): Artificial intelligence bias in the prediction and detection of cardiovascular disease. In: npj Cardiovascular Health 1 (1), S. 31. DOI: 10.1038/s44325-024-00031-9.
Online-Konferenz Women in Data Science (WiDS) | SRH Fernhochschule (2025). Online verfügbar unter www.mobile-university.de/news/aktuelles/online-konferenz-women-in-data-science/, zuletzt aktualisiert am 13.06.2025, zuletzt geprüft am 13.06.2025.
Sederholm Lawesson, Sofia; Isaksson, Rose-Marie; Thylén, Ingela; Ericsson, Maria; Ängerud, Karin; Swahn, Eva (2018): Gender differences in symptom presentation of ST-elevation myocardial infarction - An observational multicenter survey study. In: International journal of cardiology 264, S. 7–11. DOI: 10.1016/j.ijcard.2018.03.084.
Sie interessieren sich für Themen aus dem Bereich Digitalisierung?
Dann entdecken Sie unsere Themenwelt. Spannende Inhalte und Studiengänge erwarten Sie.