基于扩散模型流形引导的无偏图像合成
计算机视觉与模式识别
2024-04-16 v3
摘要
扩散模型是一类能够生成高质量图像的强大生成模型。然而，它们常常无意中偏向某些数据属性，损害了生成图像的多样性。这一问题在 CelebA 等偏斜数据集中尤为明显：初始数据集中女性比男性多出 57.9%，而在生成数据中这一偏差被放大，女性 representation 超出男性 148%。为此，我们提出了一种即插即用的方法——流形引导采样（Manifold Guidance Sampling），它也是首个缓解 DDPM 中偏差问题的无监督方法。该方法利用数据流形的固有结构，将采样过程导向更均匀的分布，有效分散了偏置数据的聚集。无需修改现有模型或额外训练，它显著缓解了数据偏差，并提升了生成图像的质量与无偏性。
引用
@article{arxiv.2307.08199,
title = {Unbiased Image Synthesis via Manifold Guidance in Diffusion Models},
author = {Xingzhe Su and Daixi Jia and Fengge Wu and Junsuo Zhao and Changwen Zheng and Wenwen Qiang},
journal= {arXiv preprint arXiv:2307.08199},
year = {2024}
}