Delta-K：通过跨注意力增强提升多实例生成
计算机视觉与模式识别
2026-03-12 v1 人工智能
摘要
虽然扩散模型在文本到图像合成方面表现出色，但在合成复杂的多实例场景时常常出现概念遗漏。现有的无训练方法试图通过重新缩放注意力图来解决此问题，这仅会加剧无结构的噪声，而无法建立连贯的语义表示。为此，我们提出 Delta-K，一种基于跨注意力 Key 空间直接操作的、无需后验且即插即用的推理框架，以解决概念遗漏问题。具体而言，通过利用视觉语言模型，我们提取一个编码缺失概念语义签名的差分 key 。该信号在扩散过程的早期语义规划阶段被注入。受动态优化调度机制的控制，Delta-K 在保持现有概念的同时，将扩散噪声锚定到稳定的结构锚点上。大量实验表明，我们的方法具有普适性：Delta-K 在不要求空间掩码、额外训练或架构修改的情况下，持续改进了现代 DiT 模型和经典 U-Net 架构的组成对齐。
引用
@article{arxiv.2603.10210,
title = {Delta-K: Boosting Multi-Instance Generation via Cross-Attention Augmentation},
author = {Zitong Wang and Zijun Shen and Haohao Xu and Zhengjie Luo and Weibin Wu},
journal= {arXiv preprint arXiv:2603.10210},
year = {2026}
}