关于统一多模态大语言模型在图像生成中的公平性研究
计算与语言
2025-02-06 v1 人工智能
摘要
统一多模态大语言模型（U-MLLMs）在端到端流程中展现了令人印象深刻的视觉理解和生成性能。与仅用于生成的模型（例如，Stable Diffusion）相比，U-MLLMs 可能在其输出中引发关于偏见的新问题，这些输出可能受到其统一能力的影响。鉴于传播有害刻板印象的风险尚未得到充分探索，这一差距尤其令人担忧。在本文中，我们对最新的 U-MLLMs 进行了基准测试，发现大多数模型都表现出显著的人口统计学偏见，例如性别和种族偏见。为了更好地理解和缓解这个问题，我们提出了一种“先定位后修复”的策略，在该策略中，我们审计并展示了单个模型组件如何受到偏见的影响。我们的分析表明，偏见主要源于语言模型。更有趣的是，我们在 U-MLLMs 中观察到一个“部分对齐”现象，即理解偏见似乎很小，但生成偏见仍然很大。因此，我们提出了一种新颖的平衡偏好模型，利用合成数据来平衡人口统计学分布。实验表明，我们的方法在保持语义保真度的同时减少了人口统计学偏见。我们希望我们的发现能强调未来需要对 U-MLLMs 进行更全面的解释和去偏策略。
引用
@article{arxiv.2502.03429,
title = {On Fairness of Unified Multimodal Large Language Model for Image Generation},
author = {Ming Liu and Hao Chen and Jindong Wang and Liwen Wang and Bhiksha Raj Ramakrishnan and Wensheng Zhang},
journal= {arXiv preprint arXiv:2502.03429},
year = {2025}
}