中文

时空缩放网络:距离回归与连续深度用于高效动作局部化

计算机视觉与模式识别 2025-11-14 v3

摘要

时序动作局部化需要精确的边界检测和计算效率。当前方法在所有时序位置上应用统一计算,浪费容易边界的资源,同时在处理模糊边界时困难。我们通过两种互补创新来解决这些问题:边界距离回归(BDR),用有符号距离回归取代基于分类的边界检测,实现3.316.7×3.3--16.7\times的方差降低;以及自适应时序细化(ATR),将transformer深度连续分配给τ[0,1]\tau\in[0,1],以集中计算靠近困难边界的资源。在THUMOS14数据集上,我们的方法实现了56.5%的[email protected]和58.2%的平均mAP@[0.3:0.7],使用151G FLOPs,采用36%更少的FLOPs即可实现与ActionFormer++相当的性能(55.7% [email protected] at 235G)。与统一基线相比,我们在24×24\times更少的FLOPs和29×29\times更低的延迟下实现了+2.9%的[email protected](+1.8%平均mAP,+5.4%相对提升),在短时动作上尤其显著(+4.2%,+8.6%相对提升)。训练需要1.29×1.29\times基线FLOPs,但这种一次性成本可在众多推理运行中摊薄;知识蒸馏进一步将其降低到1.1×1.1\times,同时保持99.5%的准确率。我们的贡献包括:(i)一个以信息论为基础的距离公式,展示最优方差缩放;(ii)一种避免离散路由复杂度的连续深度分配机制;(iii)在四个数据集上的一致性改进,提升与边界异质性相关。

关键词

引用

@article{arxiv.2511.03943,
  title  = {Temporal Zoom Networks: Distance Regression and Continuous Depth for Efficient Action Localization},
  author = {Ibne Farabi Shihab and Sanjeda Akter and Anuj Sharma},
  journal= {arXiv preprint arXiv:2511.03943},
  year   = {2025}
}