ViT-Calibrator：面向视觉 Transformer 的决策流校准

由于其强大的性能，在多种视觉任务中利用 Transformer 的兴趣激增。然而，现有方法主要聚焦于优化内部模型架构设计，往往需要进行大量试错且负担沉重。在本工作中，我们提出一种称为决策流校准（Decision Stream Calibration）的新范式，以提升通用视觉 Transformer 的性能。为此，我们通过探索不同 token 之间的相关性以及多个维度的关联系数，阐明了学习过程中的信息传播机制。进一步分析发现：1）最终决策与前景目标的 token 相关，而前景目标的 token 特征会尽可能传入下一层，无用的背景区域 token 特征在前向传播中逐渐被消除；2）每个类别仅与 token 中特定的稀疏维度相关联。基于上述发现，我们设计了一个两阶段校准方案，即 ViT-Calibrator，包括 token 传播校准阶段与维度传播校准阶段。在常用数据集上的大量实验表明，所提方法可取得令人满意的结果。源代码见补充材料。