对扩散模型目标完整性进行边缘激活惩罡
计算机视觉与模式识别
2025-09-24 v2
摘要
扩散模型已成为文本到图像（T2I）生成的强大技术，能够在 various 领域创建高质量、多样化的图像。然而，这些模型的一个常见局限是对象显示不完整，碎片或缺失的部分削弱了模型在下游应用中的性能。本研究对不完整性问题进行深入分析，揭示导致对象生成不完整的主要因素是模型训练中使用的 RandomCrop。尽管这种广泛使用的数据增强方法可增强模型的泛化能力，但会在训练过程中扰乱对象的连续性。为此，我们提出一种无训练的解决方案，通过对早期去噪步骤中的图像边界激活值进行惩罡。该方法可轻松应用于预训练的 Stable Diffusion 模型，修改极少且计算开销可忽略。大量实验表明，该方法有效，显著提高了对象完整性和图像质量。
引用
@article{arxiv.2509.16968,
title = {Penalizing Boundary Activation for Object Completeness in Diffusion Models},
author = {Haoyang Xu and Tianhao Zhao and Sibei Yang and Yutian Lin},
journal= {arXiv preprint arXiv:2509.16968},
year = {2025}
}