对 13 个大型多模态模型中性别偏差的自动化评估

大型多模态模型（LMMs）彻底改变了文本到图像的生成，但它们有延续其训练数据中存在的社会有害偏差的风险。先前的工作已经识别出了这些模型中的性别偏差，但方法论上的局限性阻碍了大规模、可比较的跨模型分析。为了填补这一空白，我们引入了 Aymara 图像公平性评估，这是一个用于评估 AI 生成图像中社会偏差的基准。我们使用 75 个程序化生成的、性别中立的提示词，测试了 13 个商用 LMMs，以在刻板印象中的男性、刻板印象中的女性和非刻板印象的职业中生成人物。然后，我们使用一个经过验证的 LLM-as-a-judge 系统对生成的 965 张图像的性别表征进行评分。我们的结果显示（所有情况 p < .001）：1) 相对于真实世界的劳动力数据，LMMs 不仅系统性地再现了职业性别刻板印象，而且实际上放大了这种刻板印象，在男性刻板印象职业的图像中有 93.0% 生成了男性，但在女性刻板印象职业中仅有 22.5%；2) 模型表现出强烈的默认男性偏差，在非刻板印象职业中有 68.3% 的时间生成了男性；3) 不同模型之间的偏差程度差异巨大，整体男性表征比例从 46.7% 到 73.3% 不等。值得注意的是，表现最好的模型减弱了性别刻板印象并接近性别均等，获得了最高的公平性得分。这种差异表明高偏差并非不可避免的结果，而是设计选择的后果。我们的工作提供了迄今为止最全面的跨模型性别偏差基准，并强调了标准化、自动化评估工具对于促进 AI 发展中的问责制和公平性的必要性。