基于动态查询的高效动作计数
计算机视觉与模式识别
2025-12-15 v4
摘要
时间重复计数旨在量化视频中重复的动作周期。现有的大多数方法依赖于相似性相关矩阵来表征动作的重复性，但由于其二次计算复杂度，可扩展性受到限制。在这项工作中，我们引入了一种新颖的方法，该方法采用动作查询表示来定位重复的动作周期，具有线性计算复杂度。基于这种表示，我们进一步开发了两个关键组件来应对时间重复计数中的基本挑战。首先，为了促进开放集动作计数，我们提出了动作查询的动态更新方案。与静态动作查询不同，该方法将视频特征动态嵌入到动作查询中，提供了更灵活和更具泛化性的表示。其次，为了区分感兴趣的动作和背景噪声动作，我们引入了查询间对比学习来正则化不同动作查询对应的视频表示。因此，我们的方法显著优于先前的工作，特别是在长视频序列、未见过的动作以及各种速度的动作方面。在具有挑战性的 RepCountA 基准测试中，我们在 OBO 准确率上比最先进的方法 TransRAC 提高了 26.5%，平均误差降低了 22.7%，计算负担减少了 94.1%。代码可在 https://github.com/lizishi/DeTRC 获取。
引用
@article{arxiv.2403.01543,
title = {Efficient Action Counting with Dynamic Queries},
author = {Xiaoxuan Ma and Zishi Li and Qiuyan Shang and Wentao Zhu and Hai Ci and Yu Qiao and Yizhou Wang},
journal= {arXiv preprint arXiv:2403.01543},
year = {2025}
}
备注
code: https://github.com/lizishi/DeTRC, proj page: https://shirleymaxx.github.io/DeTRC/