基于不确定性的时间令牌重要性估计在脉冲变换器中的应用
机器学习
2026-05-12 v1 计算机视觉与模式识别
摘要
脉冲变换器在神经器视觉领域展现出巨大的潜力，但其在多个脉冲步骤中对令牌的处理仍引入了大量冗余和推理成本。现有的令牌降维方法主要依赖响应导向的线索，如激活幅度、放电统计或特征相似性。虽然这些方法有效，但未能从时间演化类证据的角度明确刻画令牌的重要性。在脉冲变换器中，令牌表示是在多个脉冲步骤中逐步形成的，而非在单个时刻确定，这表明令牌的重要性不仅应由瞬时响应来评估，还应由时间不确定性模式来考量。我们的关键观察是，令牌在时间上的不确定性轨迹呈现异质性，其在脉冲步骤中的时间聚合不确定性统计为区分信息丰富的令牌和冗余令牌提供了有效线索。基于此，我们提出了 Uncert—a 一个训练自由且即插即用的脉冲变换器令牌重要性估计框架。具体而言，Uncert 使用 Dirichlet 分布建模令牌的类别证据，并通过其在脉冲步骤中的均值和波动来总结每个令牌的时间不确定性，从而在推理阶段为令牌降维生成不确定性感知的重要性得分。在静态和神经器基准测试上实验表明，Uncert 在准确率和效率之间实现了有利的权衡，其中在令牌剪枝方面获得了最为一致的提升。进一步的分析揭示了时间不确定性模式与令牌贡献之间存在明确的经验联系，为理解脉冲变换器中的令牌动力学提供了新的洞见。
引用
@article{arxiv.2605.09276,
title = {Uncertainty-Aware Token Importance Estimation in Spiking Transformers},
author = {Wenxuan Liu and Zecheng Hao and Tong Bu and Yuran Wang and Zhaofei Yu},
journal= {arXiv preprint arXiv:2605.09276},
year = {2026}
}