大型文本到图像模型的深入公平性评估：INFELM
计算机视觉与模式识别
2025-01-10 v3 人工智能
计算机与社会
摘要
大型语言模型 (LLMs) 和大型视觉模型 (LVMs) 的快速发展推动了多模态 AI 系统的演变，这些系统通过模拟人类认知展现出巨大的工业应用潜力。然而，它们也带来了显著的伦理挑战，包括放大有害内容和强化社会偏见。例如，某些工业图像生成模型中的偏见凸显了对鲁棒公平性评估的紧迫需求。大多数现有评估框架侧重于模型各方面的完整性，但存在关键局限，包括 insufficient 注意内容生成对齐和社会偏见敏感领域，更重要的是，依赖像素检测技术容易产生不准确。为此，本文提出INFELM，对广泛使用的文本到图像模型进行深入公平性评估。我们的关键贡献包括：(1) 集成面部拓扑和精细皮肤像素表示的高级皮肤色分类器，通过至少提高16.04%提高分类精度；(2) 用于理解社会影响的偏见敏感内容对齐度量；(3) 针对 diverse 民族群体的可泛化表示偏见评估；(4) 对大规模文本到图像模型输出在六个社会偏见敏感领域的广泛实验。我们发现，研究中现有的模型 generally 不符合经验公平性标准，representation 偏见通常比 alignment 错误更突出。INFELM 为公平性评估建立了稳健的基准，支持开发符合伦理和以人类为中心原则的多模态 AI 系统。
引用
@article{arxiv.2501.01973,
title = {INFELM: In-depth Fairness Evaluation of Large Text-To-Image Models},
author = {Di Jin and Xing Liu and Yu Liu and Jia Qing Yap and Andrea Wong and Adriana Crespo and Qi Lin and Zhiyuan Yin and Qiang Yan and Ryan Ye},
journal= {arXiv preprint arXiv:2501.01973},
year = {2025}
}
备注
Di Jin and Xing Liu contributed equally to this work