面向重复动作计数的局部感知多尺度表征学习
计算机视觉与模式识别
2025-01-14 v1
摘要
重复动作计数 (Repetitive Action Counting, RAC) 旨在估计视频中类无 exemplars 的动作发生次数。目前大多数 RAC 方法依赖于原始帧间相似性表征进行周期预测。然而，这种方法常受到动作中断和不一致性等常见噪声的显著干扰，导致在真实场景下计数性能次优。本文引入前景局部化优化目标以增强相似性表征学习，从而获得更稳健且更高效的视频特征。我们提出了局部感知多尺度表征学习 (LMRL) 框架。具体而言，我们应用尺度特定设计的多尺度周期感知表征 (Multi-Scale Period-Aware Representation, MPR)，以适应各种动作频率，学习更灵活的时序关联。此外，我们引入重复前景局部化 (Repetition Foreground Localization, RFL) 方法，通过粗略识别周期性动作并纳入全局语义信息来增强表征。这两个模块可以联合优化，形成更精细的周期动作表征。我们的方法显著降低了噪声的影响，从而提高了计数准确性。此外，该框架设计为可扩展且适应不同类型的视频内容。在 RepCountA 和 UCFRep 数据集上的实验结果表明，我们提出的方法有效处理了重复动作计数。
引用
@article{arxiv.2501.07312,
title = {Localization-Aware Multi-Scale Representation Learning for Repetitive Action Counting},
author = {Sujia Wang and Xiangwei Shen and Yansong Tang and Xin Dong and Wenjia Geng and Lei Chen},
journal= {arXiv preprint arXiv:2501.07312},
year = {2025}
}
备注
Accepted by IEEE VCIP2024