顺序令牌合并：重访隐藏状态
计算机视觉与模式识别
2025-09-30 v1
摘要
视觉曼巴（ViMs）以次二次方复杂度取得了显著成功，但其效率仍受限于令牌数量随图像分辨率二次方增长。现有方法虽然解决了令牌冗余问题，却忽视了 ViMs 固有的有限方向序列依赖性（LDSD）——我们在分析中揭示的一种关键信息流机制。我们进一步发现曼巴的选择性扫描能够在隐藏状态中实现渐进式信息聚合。基于这些见解，我们提出了顺序令牌合并（STM），其特点包括：1）双向最近邻合并，通过对称空间聚合保留序列依赖性；2）隐藏状态保护，以稳定类别令牌周围的隐藏状态。STM 策略性地利用曼巴的逐层损失收敛特性，将时间遗忘转化为稳定性。实验证明了 STM 的优越性：在令牌减少 20% 时，ViM-Ti 的精度下降仅为 1.0%；在令牌减少 40% 时，ViM-S 的精度下降仅为 1.4%。我们的方法以最小的复杂度实现了最先进的效率，同时为状态空间模型动力学提供了新的见解。代码即将发布。
引用
@article{arxiv.2509.22691,
title = {Sequential Token Merging: Revisiting Hidden States},
author = {Yan Wen and Peng Ye and Lin Zhang and Baopu Li and Jiakang Yuan and Yaoxin Yang and Tao Chen},
journal= {arXiv preprint arXiv:2509.22691},
year = {2025}
}