基于 Hilbert 曲线的邻居感知 Token 降低策略用于视觉 Transformer
计算机视觉与模式识别
2025-12-30 v1
摘要
视觉 Transformer (ViT) 在视觉识别任务中取得了显著的成功，但冗余的 token 表示限制了其计算效率。现有的 token 合并和剪枝策略常常忽略了空间连续性和邻居关系，导致局部上下文的丢失。本文提出了一种基于 Hilbert 曲线重排序的新颖邻居感知 token 降低方法，通过 1 维顺序表示显式地保留二维空间中的邻居结构。我们的方法引入了两个关键策略：用于选择性 token 保留的邻居感知剪枝 (Neighbor-Aware Pruning, NAP) 和用于局部 token 聚合的相邻 token 相似性合并 (Merging by Adjacent Token similarity, MAT)。实验表明，我们的方法在现有方法的准确率-效率权衡方面实现了最先进的效果。本工作凸显了空间连续性和邻居结构的重要性，为 ViT 的架构优化提供了新的见解。
引用
@article{arxiv.2512.22760,
title = {Neighbor-Aware Token Reduction via Hilbert Curve for Vision Transformers},
author = {Yunge Li and Lanyu Xu},
journal= {arXiv preprint arXiv:2512.22760},
year = {2025}
}