扩散转换器中大型激活对局部细节合成的关键作用
计算机视觉与模式识别
2025-10-15 v2
摘要
扩散转换器（DiTs）最近作为视觉生成的强大基础模型出现。近期观察发现其内部特征图中存在\emph{大型激活}（MAs），但其功能尚不明确。本文系统性地研究这些激活，以阐明其在视觉生成中的作用。我们发现，这些大型激活在所有空间token中发生，其分布由输入时序嵌入所调制。重要的是，我们的进一步调查表明，这些大型激活在局部细节合成中发挥关键作用，而对输出整体语义内容的影响最小。基于这些见解，我们提出\textbf{D}etail \textbf{G}uidance（\textbf{DG}），一种基于MAs驱动的、无需训练的自指导策略，用于显式增强DiTs的局部细节保真度。具体而言，DG通过扰乱MAs构建一个退化的\`detail-deficient\`模型，并利用其指导原始网络以获得更高质量的细节合成。我们的DG可无缝集成到Classifier-Free Guidance（CFG）中，进一步细化细粒度细节。广泛的实验表明，DG在各种预训练DiTs（例如SD3、SD3.5和Flux）上均能持续改善细粒度细节质量。
引用
@article{arxiv.2510.11538,
title = {Massive Activations are the Key to Local Detail Synthesis in Diffusion Transformers},
author = {Chaofan Gan and Zicheng Zhao and Yuanpeng Tu and Xi Chen and Ziran Qin and Tieyuan Chen and Mehrtash Harandi and Weiyao Lin},
journal= {arXiv preprint arXiv:2510.11538},
year = {2025}
}