基于深度特征的能量周期性挖掘用于无约束视频中的动作重复计数
计算机视觉与模式识别
2020-03-17 v1
摘要
动作重复计数旨在估计一个动作中重复运动的发生次数，这是一个相对较新、重要但具有挑战性的测量问题。为了解决这个问题，我们提出了一种新方法，在两个方面优于传统方法：无需预处理且适用于任意周期性动作。无需预处理使得所提模型在实际应用中更加便捷；处理任意周期性动作使我们的模型更适应实际情况。在方法论上，首先，我们基于深度卷积网络提取的动作时空特征分析重复动作的运动模式；其次，使用主成分分析算法从混沌的高维深度特征中生成直观的周期性信息；第三，基于傅里叶变换的高能规则挖掘周期性；最后，提出带有多级阈值滤波的逆傅里叶变换以提高所挖掘周期性的质量，并引入峰值检测完成重复计数。我们的工作有两个特点：1）提出了一个重要见解，即用于动作识别的深度特征能够很好地建模重复动作的自相似周期性。2）提出了一种基于高能的周期性挖掘规则，使用深度特征，无需预处理即可处理任意动作。实验结果表明，我们的方法在公开数据集YT Segments和QUVA上取得了可比的结果。
引用
@article{arxiv.2003.06838,
title = {Energy-based Periodicity Mining with Deep Features for Action Repetition Counting in Unconstrained Videos},
author = {Jianqin Yin and Yanchun Wu and Huaping Liu and Yonghao Dang and Zhiyi Liu and Jun Liu},
journal= {arXiv preprint arXiv:2003.06838},
year = {2020}
}