控制扩散 Transformer 中的异常标记
介观与纳米尺度物理
2026-05-07 v1
摘要
我们研究扩散 Transformer (DiT) 中的异常标记。先前的工作表明，视觉 Transformer (ViT) 可产生少数量的高范数标记，这些标记会吸引不成比例的注意力，同时携带有限的局部信息，但其在生成模型中的作用尚未得到充分探讨。我们表明，这一现象同样出现在现代表示自编码器 (RAE)-DiT 管道的编码器和去噪器中：预训练的 ViT 编码器可产生异常表示，DiT 本身也会在中间层发展出内部异常标记。此外，仅遮蔽高范数标记并不能提高性能，表明问题不仅由少数极端值引起，更与被破坏的局部图案语义密切相关。为解决此问题，我们引入双阶段寄存器 (DSR)，用于两部分的干预：在可用时使用训练好的寄存器， Otherwise 使用递归测试时寄存器，以及用于去噪器的扩散寄存器。跨 ImageNet 和大规模文本到图像生成，这些干预 consistently 减少异常标记痕迹并提高生成质量。我们的结果突显了异常标记控制作为构建更强 DiT 的重要要素。
关键词
引用
@article{arxiv.2605.05205,
title = {Mixed-Parity Altermagnetism in Collinear Spin-Orbital Magnets},
author = {Zheng-Yang Zhuang and Jin-Xin Hu and Song-Bo Zhang and Lun-Hui Hu and Zhongbo Yan},
journal= {arXiv preprint arXiv:2605.05205},
year = {2026}
}