TransRAC：利用Transformer编码多尺度时间相关性用于重复动作计数
计算机视觉与模式识别
2022-04-05 v1
摘要
重复动作计数广泛存在于体育锻炼等人类活动中。现有方法侧重于在短视频中进行重复动作计数，难以应对更真实场景中更长的视频。在数据驱动时代，这种泛化能力的退化主要归因于缺乏长视频数据集。为弥补这一不足，我们引入了一个大规模重复动作计数新数据集，涵盖多种视频长度，并包含视频中出现动作中断或动作不一致等更真实的情况。此外，我们还提供了动作周期的细粒度标注，而非仅给出数值形式的计数标注。该数据集包含1451个视频及约20000个标注，更具挑战性。针对更真实场景下的重复动作计数，我们进一步提出利用Transformer编码多尺度时间相关性，兼顾性能与效率。此外，借助动作周期的细粒度标注，我们提出一种基于密度图回归的方法来预测动作周期，在具有充分可解释性的同时获得更优性能。我们所提方法在所有数据集上均优于state-of-the-art方法，且无需微调即在未见过的数据集上取得更好性能。数据集与代码已公开。
引用
@article{arxiv.2204.01018,
title = {TransRAC: Encoding Multi-scale Temporal Correlation with Transformers for Repetitive Action Counting},
author = {Huazhang Hu and Sixun Dong and Yiqun Zhao and Dongze Lian and Zhengxin Li and Shenghua Gao},
journal= {arXiv preprint arXiv:2204.01018},
year = {2022}
}
备注
(Revised) CVPR 2022 Oral. RepCount dataset: https://svip-lab.github.io/dataset/RepCount_dataset.html , Code: https://github.com/SvipRepetitionCounting/TransRAC