心中公平，行动中公平？面向UMLLMs的同步公平性基准
人工智能
2026-03-03 v1
摘要
随着人工智能(AI)在各领域的广泛部署，确保公平性已成为核心挑战。然而，该领域面临'塔楼之谷'困境：公平性指标层出不穷，却因其背后哲学假设常相互冲突，阻碍形成统一范式——尤其在统一 multimodal large language models(UMLLMs)中，偏见可跨任务系统性扩散。为此，我们引入IRIS基准，首个即为 UMLLMs的理解与生成任务同步评估公平性的基准。凭借我们的人口统计分类器ARES及四套大规模数据集，基准旨在规范化与聚合任意指标，构建高维'公平性空间'，整合60项细粒度指标，涵盖三个维度：理想公平性、现实忠实性及偏见惯性与可调性(IRIS)。通过该基准，对领先UMLLMs的评估揭示了诸多系统性现象，如'生成差距'、个体间的'人格分裂'及'反刻板印象奖励'，并提供诊断工具以引导其公平性能力优化。凭借其新颖且可扩展的框架，IRIS基准具备整合演进公平性指标的能力，最终帮助解决'塔楼之谷'的困局。项目页面：https://iris-benchmark-web.vercel.app/
引用
@article{arxiv.2603.00590,
title = {Fair in Mind, Fair in Action? A Synchronous Benchmark for Understanding and Generation in UMLLMs},
author = {Yiran Zhao and Lu Zhou and Xiaogang Xu and Zhe Liu and Jiafei Wu and Liming Fang},
journal= {arXiv preprint arXiv:2603.00590},
year = {2026}
}
备注
Accepted to ICLR 2026