SPOT：基于标记相关性的注意力动态下贴肠化
核理论
2026-03-19 v2 高能物理 - 唯象学
核实验
摘要
虽然 Vision Transformer (ViT) 在 diverse 任务上已显示出惊人的性能，但其计算需求 substantial，随处理标记数量呈二次方增长。紧凑注意力表示，反映标记间相互作用分布，可指导在注意力计算之前早期检测和减少不太重要的标记。以此为动机，我们提出了 SParsification with attentiOn dynamics via Token relevance (SPOT)，一个利用标记嵌入、相互作用和跨层注意力动态来推断标记重要性的框架，用于在 ViT 中早期检测冗余标记，从而实现更具上下文感知和可解释性的相关性检测过程。SPOT 提供了标记贴肠化的指导，便于消除此类标记，在不牺牲性能的情况下提高计算效率。SPOT 采用计算轻量的预测器，可插入 various ViT 架构中，并学习在不同层上派生有效的输入特定标记优先级。其灵活的设计支持可适应不同资源约束的 various 性能水平。实证评估表明，与标准 ViT 相比，SPOT 达到了最高可达 40% 的效率提升，同时保持或甚至提高准确度。代码和模型均可用于 https://github.com/odedsc/SPOT。
引用
@article{arxiv.2511.10487,
title = {Friction terms in multi-fluid description of heavy-ion collisions},
author = {Clemens Werthmann and Iurii Karpenko and Pasi Huovinen},
journal= {arXiv preprint arXiv:2511.10487},
year = {2026}
}
备注
14 pages, 6 figures. v2: Minor changes, equivalent to published version