VersusDebias：基于SLM驱动的文本到图像模型通用零样子 debiasing
计算机视觉与模式识别
2024-08-19 v3 人工智能
摘要
随着文本到图像(T2I)模型的快速发展，针对人口统计社会群体的人类图像偏见成为重大关切，影响AI中的公平性和伦理标准。一些研究人员提出了自己的方法来解决此问题。然而，现有方法为特定模型设计，针对固定提示，限制了其对快速演化模型和多样实际场景的适应性。此外，他们忽略了幻觉的影响，导致预期结果与实际结果之间存在差异。为此，我们引入VersusDebias，一个针对任意T2I模型的通用debiasing框架，包含一组生成(AG)模块和图像生成(IG)模块。自适应AG模块生成特定属性数组以后处理幻觉并同时去除多个属性偏见。IG模块采用小型语言模型根据数组修改提示，驱动T2I模型生成去偏见图像，实现零样子debiasing。广泛实验表明，VersusDebias能够同时针对性别、种族和年龄对任意模型进行debiasing。在零样子和少量样本场景中，VersusDebias超越了现有方法，展示了其卓越的实用性。我们的工作 accessible at https://github.com/VersusDebias/VersusDebias 以确保可重复性并促进进一步研究。
引用
@article{arxiv.2407.19524,
title = {VersusDebias: Universal Zero-Shot Debiasing for Text-to-Image Models via SLM-Based Prompt Engineering and Generative Adversary},
author = {Hanjun Luo and Ziye Deng and Haoyu Huang and Xuecheng Liu and Ruizhe Chen and Zuozhu Liu},
journal= {arXiv preprint arXiv:2407.19524},
year = {2024}
}