IVAC-P2L：利用非规则重复先验改进视频动作计数
计算机视觉与模式识别
2024-03-21 v2 人工智能
多媒体
摘要
视频动作计数（VAC）通过量化视频中的重复性动作，在分析体育运动、健身和日常活动中至关重要。然而，传统 VAC 方法忽略了动作重复的复杂性，例如中断和周期时长的变异性。我们的研究通过引入一种名为非规则视频动作计数（IVAC）的新颖 VAC 方法来解决这一不足。IVAC 优先对视频中的非规则重复模式进行建模，我们通过两个主要方面对其进行定义：周期内一致性和周期间不一致性。周期内一致性确保周期片段在时空表示上的均匀性，意味着周期内动作的一致性。周期间不一致性强调了基于固有内容差异区分周期片段与间隔的重要性。为了体现这些原则，我们提出了一种新方法，包含一致性模块和不一致性模块，并由独特的推拉损失（P2L）机制提供支持。IVAC-P2L 模型应用拉损失以促进周期片段特征之间的一致性，并应用推损失以清晰区分周期片段特征与间隔片段特征。在 RepCount 数据集上进行的实证评估表明，IVAC-P2L 模型在 VAC 任务性能上确立了新的基准。此外，该模型在各种视频内容上展现出卓越的适应性和泛化能力，在 UCFRep 和 Countix 两个额外数据集上均优于现有模型，且无需针对特定数据集进行优化。这些结果证实了我们的方法在处理视频中非规则重复方面的有效性，并为视频分析与理解的进一步发展铺平了道路。
引用
@article{arxiv.2403.11959,
title = {IVAC-P2L: Leveraging Irregular Repetition Priors for Improving Video Action Counting},
author = {Hang Wang and Zhi-Qi Cheng and Youtian Du and Lei Zhang},
journal= {arXiv preprint arXiv:2403.11959},
year = {2024}
}
备注
Source code: https://github.com/hwang-cs-ime/IVAC-P2L