Reg4Pru：基于随机 token 路由的正则化方法
计算机视觉与模式识别
2026-02-04 v2
摘要
Transformer 因其强大的规模化能力和泛化性而广泛应用于现代视觉模型。然而，这带来了一个主要缺点：计算规模随 token 总数呈二次方增长。为此，提出了诸多方法进行缓解。例如，我们考虑通过保留表示来激活 token 进行修剪，但这种方法的计算效率提升会导致保留表示的稳定性下降，进而在更深的层上导致稀疏预测性能下降。本文引入 Reg4Pru，一种用于分段的 token 修剪性能损失缓解的训练正则化技术。我们在 FIVES 血管分割数据集上比较模型，发现 Reg4Pru 比相同模型在无路由训练时提高了 46% 的平均精度。在实现相对于非修剪基线 29% 相对加速的配置下观察到此增益。这表明 Reg4Pru 是 token 减量策略的有价值正则化器。
关键词
引用
@article{arxiv.2602.02163,
title = {Reg4Pru: Regularisation Through Random Token Routing for Token Pruning},
author = {Julian Wyatt and Ronald Clark and Irina Voiculescu},
journal= {arXiv preprint arXiv:2602.02163},
year = {2026}
}
备注
11 pages, 7 figures