时空缩放网络:距离回归与连续深度用于高效动作局部化
计算机视觉与模式识别
2025-11-14 v3
摘要
时序动作局部化需要精确的边界检测和计算效率。当前方法在所有时序位置上应用统一计算,浪费容易边界的资源,同时在处理模糊边界时困难。我们通过两种互补创新来解决这些问题:边界距离回归(BDR),用有符号距离回归取代基于分类的边界检测,实现的方差降低;以及自适应时序细化(ATR),将transformer深度连续分配给,以集中计算靠近困难边界的资源。在THUMOS14数据集上,我们的方法实现了56.5%的[email protected]和58.2%的平均mAP@[0.3:0.7],使用151G FLOPs,采用36%更少的FLOPs即可实现与ActionFormer++相当的性能(55.7% [email protected] at 235G)。与统一基线相比,我们在更少的FLOPs和更低的延迟下实现了+2.9%的[email protected](+1.8%平均mAP,+5.4%相对提升),在短时动作上尤其显著(+4.2%,+8.6%相对提升)。训练需要基线FLOPs,但这种一次性成本可在众多推理运行中摊薄;知识蒸馏进一步将其降低到,同时保持99.5%的准确率。我们的贡献包括:(i)一个以信息论为基础的距离公式,展示最优方差缩放;(ii)一种避免离散路由复杂度的连续深度分配机制;(iii)在四个数据集上的一致性改进,提升与边界异质性相关。
引用
@article{arxiv.2511.03943,
title = {Temporal Zoom Networks: Distance Regression and Continuous Depth for Efficient Action Localization},
author = {Ibne Farabi Shihab and Sanjeda Akter and Anuj Sharma},
journal= {arXiv preprint arXiv:2511.03943},
year = {2025}
}