GradBias：揭示文本到图像生成模型中词语对偏见的影响
计算机视觉与模式识别
2024-08-30 v1
摘要
近期文本到图像（T2I）生成模型的进展使我们能够生成高质量的图像。随着性能和可访问性的提升，这些模型正获得广泛关注和流行度：确保其公平性和安全性已成为优先级，以防止偏见的传播和延续。然而，现有研究在偏见检测方面仅聚焦于预定义偏见集合（如性别、种族）上的偏见。本文提出了一种通用框架，用于在无需预定义集合的开放式设置中识别、量化和解释偏见。该流程利用大型语言模型（LLM）从一组标题中提出偏见。随后，这些标题被用于目标生成模型以生成一组图像。最后，采用视觉问题解答（VQA）进行偏见评估。我们展示了该框架的两种变体：OpenBias 和 GradBias。OpenBias 能够有效检测与人、物品和动物相关的已知和新偏见，并与现有的封闭集偏见检测方法和人类判断高度一致。GradBias 显示中性词语会对偏见产生显著影响，且优于多个基线方法，包括最先进的基础模型。代码已公开：https://github.com/Moreno98/GradBias。
引用
@article{arxiv.2408.16700,
title = {GradBias: Unveiling Word Influence on Bias in Text-to-Image Generative Models},
author = {Moreno D'Incà and Elia Peruzzo and Massimiliano Mancini and Xingqian Xu and Humphrey Shi and Nicu Sebe},
journal= {arXiv preprint arXiv:2408.16700},
year = {2024}
}
备注
Under review. Code: https://github.com/Moreno98/GradBias