逐元素衰减：用于训练面向量化 ViT 的共线衰减
计算机视觉与模式识别
2026-05-05 v1
摘要
低位量化是高效部署视觉 Transformer 的实际途径，但激活异常值 complicates 完全量化部署。现有方法要么在训练后处理量化，要么在训练期间抑制大激活值；然而，过于严格地限制视觉模型中的异常值可能导致全精度与量化精度之间的trade-off变差。我们认为，与其简单抑制异常值，不如控制使其有害的结构性放大。为此，我们引入了共线衰减 (Colinearity-Decay, CD)，这是一种用于 Transformer 块中有序矩阵对的结构正则化。CD 对恶劣的跨矩阵对齐进行惩罚，而无需改变架构或任务损失，从而减轻极端激活值的影响。作为解耦更新应用，CD 是一种非侵入性的方法，引入最小的训练开销。在 ImageNet-1K 预训练、COCO 检测和下游微调方面，CD 持续地提升了量化精度，并在保持或甚至改善全精度性能方面表现出色。最终，我们的结果表明，结构正则化有效地为低位部署的视觉 Transformer 做好了准备，且在推理时无额外开销。
引用
@article{arxiv.2605.01330,
title = {Colinearity Decay: Training Quantization-Friendly ViTs with Outlier Decay},
author = {Jin Tong and Guang Liang and Peilin Sun and Jianxin Wu},
journal= {arXiv preprint arXiv:2605.01330},
year = {2026}
}
备注
17 pages, 5 figures