JEDI：Jensen-Shannon 散度在解耦扩散模型中的作用
计算机视觉与模式识别
2025-07-24 v2 机器学习
摘要
我们提出了 JEDI，一种测试时自适应方法，无需重新训练或外部监督即可增强扩散模型中的主体分离与组合对齐。JEDI 通过使用基于 Jensen-Shannon 散度的新颖目标函数来最小化注意力图中的语义纠缠。为了提高效率，我们利用对抗优化，减少了所需的更新步数。JEDI 与模型无关，适用于 Stable Diffusion 1.5 和 3.5 等架构，在复杂场景中持续改善提示词对齐与解耦。此外，JEDI 提供了一种源自内部注意力分布的轻量级、无需 CLIP 的解耦分数，为测试时条件下的组合对齐提供了有原则的基准。代码和结果可在 https://ericbill21.github.io/JEDI/ 获取。
引用
@article{arxiv.2505.19166,
title = {JEDI: The Force of Jensen-Shannon Divergence in Disentangling Diffusion Models},
author = {Eric Tillmann Bill and Enis Simsar and Thomas Hofmann},
journal= {arXiv preprint arXiv:2505.19166},
year = {2025}
}