AI 性别偏见、差异与公平：训练数据重要吗？
计算机与社会
2025-01-29 v4
摘要
本研究深入探讨了人工智能（AI）中普遍存在的性别问题，特别是在学生书面作答的自动评分系统中。主要目标是调查在混合性别数据集的一般目标训练样本中，AI 评分结果是否存在性别偏见、差异和公平性。利用微调版本的 BERT 和 GPT-3.5，本研究分析了来自六项评估题目的男性和女性参与者超过 1000 份人工评分的学生作答。研究采用三种不同的技术进行偏见分析：用评分准确率差异评估偏见，用按性别的平均分差距（MSG）评估差异，以及用 Equalized Odds（EO）评估公平性。结果表明，混合训练模型的评分准确率与男性或女性训练模型没有显著差异，表明没有显著的评分偏见。与 BERT 和 GPT-3.5 一致，我们发现与人类相比，混合训练模型产生的 MSG 和非差异性预测更少。相比之下，与人类相比，特定性别训练模型产生了更大的 MSG，表明不平衡的训练数据可能导致算法模型扩大性别差异。EO 分析表明，与特定性别训练模型相比，混合训练模型产生了更公平的结果。总体而言，研究结果表明，性别不平衡的数据不一定会产生评分偏见，但会扩大性别差异并降低评分公平性。
引用
@article{arxiv.2312.10833,
title = {AI Gender Bias, Disparities, and Fairness: Does Training Data Matter?},
author = {Ehsan Latif and Xiaoming Zhai and Lei Liu},
journal= {arXiv preprint arXiv:2312.10833},
year = {2025}
}
备注
An answer to the questions regarding AI gender bias, Submitted to Educational Technology & Society