面向文本到图像扩散模型的全无监督自去偏方法
计算机视觉与模式识别
2025-12-04 v1
摘要
文本到图像( T2I)扩散模型因能够生成高分辨率、照片般的图像而取得广泛成功。这些模型训练于像 LAION-5B 等大规模数据集，数据常从互联网抓取。然而由于数据中包含众多偏见，模型本质上会学习并复现这些偏见，导致生成图像呈现刻板印象。我们提出 SelfDebias，一种全无监督的测试时去偏方法，可适用于任何使用 UNet 作为噪声预测器的扩散模型。SelfDebias 在图像编码器的嵌入空间中识别语义聚类，并利用这些聚类指导扩散过程在推理阶段进行，最小化输出分布与均匀分布之间的 KL 散度。不同于监督方法，SelfDebias 不需要人工标注数据集或针对每个生成概念训练外部分类器，而是设计用于自动识别语义模式。大量实验表明，SelfDebias 在各种提示词和扩散模型架构上都能很好地泛化，包括条件和无条件模型。它不仅有效地沿关键人口学维度去偏，同时保持生成图像的视觉保真度，也能针对更抽象的概念进行去偏，这些概念的偏见识别同样具有挑战性。
引用
@article{arxiv.2512.03749,
title = {Fully Unsupervised Self-debiasing of Text-to-Image Diffusion Models},
author = {Korada Sri Vardhana and Shrikrishna Lolla and Soma Biswas},
journal= {arXiv preprint arXiv:2512.03749},
year = {2025}
}
备注
Accepted at WACV 2026