FCA-RAC：首循环标注的重复动作计数
计算机视觉与模式识别
2024-06-19 v1
摘要
重复动作计数量化了特定动作由个体执行的频率。然而，现有动作计数数据集的动作多样性有限，可能损害模型在未见动作上的性能。为此，我们提出了一种名为 First Cycle Annotated Repetitive Action Counting（首循环标注的重复动作计数）的框架。该框架包含 4 个部分：1）一种标注技术，为每个训练视频标注第一个动作循环的开始和结束，以及总动作计数。该技术使模型能够捕获初始动作循环与后续动作之间的相关性；2）一种自适应抽样策略，通过调整视频中第一个标注动作循环的速度来最大化动作信息保留；3）一种多时间粒度卷积（MTGC）模块，利用多尺度的第一个动作为卷积核对整个视频进行卷积，使模型能够在视频中捕获不同时间尺度上的动作变化；4）一种称为训练知识增强（TKA）的策略，利用整个数据集中标注的第一个动作循环信息，使网络能够有效地利用跨动作的共享特征，从而提升模型性能和对未见动作的可泛化性。实验结果表明，我们的方法在 RepCount-A 和相关数据集上取得优异成绩，凸显了该框架在提升模型对已见和未见动作性能方面的有效性。我们的论文通过解决现有数据集的局限性并提出改善模型可泛化性的新技术，为动作计数领域做出了重要贡献。
引用
@article{arxiv.2406.12178,
title = {FCA-RAC: First Cycle Annotated Repetitive Action Counting},
author = {Jiada Lu and WeiWei Zhou and Xiang Qian and Dongze Lian and Yanyu Xu and Weifeng Wang and Lina Cao and Shenghua Gao},
journal= {arXiv preprint arXiv:2406.12178},
year = {2024}
}