ELBO-T2IAlign: 基于 ELBO 的扩散模型像素级文本-图像对齐校准通用方法
计算机视觉与模式识别
2025-06-12 v1 人工智能
摘要
扩散模型在图像生成方面表现出色。近期研究表明，这些模型不仅能生成高质量图像，还能通过注意力图或损失函数编码文本-图像对齐信息。这些信息对于多种下游任务（包括分割、文本引导图像编辑和组合图像生成）具有价值。然而，当前方法严重依赖扩散模型中完美文本-图像对齐的假设，而实际情况并非如此。在本论文中，我们提出使用零样本指代图像分割作为代理任务，以评估流行扩散模型的像素级图像和类级文本对齐。我们从训练数据偏差的角度对扩散模型中的像素-文本不对齐进行了深入分析。我们发现不对齐发生在具有小尺寸、遮挡或稀有物体类别的图像中。因此，我们提出了 ELBO-T2IAlign，一种基于似然证据下界（ELBO）的简单而有效的方法，用于校准扩散模型中的像素-文本对齐。我们的方法无需训练且通用，无需识别不对齐的具体原因，在各种扩散模型架构上均表现良好。在常用基准数据集上进行的广泛图像分割和生成实验验证了我们所提校准方法的有效性。
引用
@article{arxiv.2506.09740,
title = {ELBO-T2IAlign: A Generic ELBO-Based Method for Calibrating Pixel-level Text-Image Alignment in Diffusion Models},
author = {Qin Zhou and Zhiyang Zhang and Jinglong Wang and Xiaobin Li and Jing Zhang and Qian Yu and Lu Sheng and Dong Xu},
journal= {arXiv preprint arXiv:2506.09740},
year = {2025}
}