Renyi 熵：面向视觉 Transformer 的新型 Token 剪枝指标
计算机视觉与模式识别
2026-03-31 v1
摘要
视觉 Transformer（ViT）虽取得最前沿性能，但因自注意力的 复杂度，在高分辨率输入上的推理成本高昂。为缓解此瓶颈，token 剪枝已成为加速推理的关键技术。大多数现有方法依赖 [CLS] 令牌估计 patch 重要性。然而，我们认为 [CLS] 令牌在网络早期层中可能不可靠，因为语义表征尚不成熟。因此，早期层的剪枝常导致不准确的重要性估计和不必要的信息损失。本文提出一种基于 Renyi 熵推导的训练-free token 重要性度量，即 Col-Ln，其使能从网络首层识别信息丰富的 token，从而在 token 降维中实现更可靠的剪枝。广泛实验在 ViT 和大型视觉语言模型（LVLMs）上表明，我们的方法在多样化基准测试中 consistently 超越当前最先进的剪枝方法。
引用
@article{arxiv.2603.27900,
title = {R\'enyi Entropy: A New Token Pruning Metric for Vision Transformers},
author = {Wei-Yuan Su and Ruijie Zhang and Zheng Zhang},
journal= {arXiv preprint arXiv:2603.27900},
year = {2026}
}