中文

FAIntbench:用于评估文本到图像模型偏置的全方位精准基准

计算机视觉与模式识别 2025-02-25 v6 人工智能

摘要

文本到图像(T2I)模型的快速发展降低了使用门槛,引发对其输出偏置的关切,但现有研究缺乏偏置的全面定义和评估框架,限制了反偏置技术的提升。为此,我们引入 FAIntbench,一个用于 T2I 模型偏置的全方位精准基准。与现有在有限方面评估偏置的基准不同,FAIntbench 从四个维度评估偏置:偏置的显现形式、偏置的可见性、获取的属性以及受保护的属性。我们将 FAIntbench 应用于评估七个最新大规模 T2I 模型,并进行人类评估,其结果表明 FAIntbench 在识别各种偏置方面具有有效性。我们的研究还揭示了关于偏置的新研究问题,包括蒸馏的副作用。本研究的发现仍属初步,凸显了 FAIntbench 在推动未来研究以减轻 T2I 模型偏置方面的潜力。本基准公开available以确保可重复性。

关键词

引用

@article{arxiv.2405.17814,
  title  = {FAIntbench: A Holistic and Precise Benchmark for Bias Evaluation in Text-to-Image Models},
  author = {Hanjun Luo and Ziye Deng and Ruizhe Chen and Zuozhu Liu},
  journal= {arXiv preprint arXiv:2405.17814},
  year   = {2025}
}

备注

Accepted by ICML DMLR 2024