基于散度、梯度与旋度的真实世界重复动作估计
计算机视觉与模式识别
2018-02-28 v1
摘要
我们考虑视频中重复动作的估计问题，例如做俯卧撑、切甜瓜或拉小提琴。已有工作假设静态且平稳的周期性，取得了良好结果。由于真实视频很少是完美静态且平稳的，常优先采用的基于傅里叶的测量方法并不适用。相反，我们采用小波变换以更好地处理非静态与非平稳的视频动态。由流场及其微分，我们导出三维内在周期性的三种基本运动类型与三种运动连续性。在此基础上，对三维周期性的二维感知考虑两种极端视角。由此得到二维中递归感知的 18 种基本情形。在实践中，为应对重复外观的多样性，我们的理论意味着在分割出的前景运动上测量时变流及其微分（梯度、散度和旋度）。在实验中，我们引入新的 QUVA Repetition 数据集，通过包含非静态与非平稳视频来反映现实。在视频重复次数计数任务上，相较于一种深度学习替代方法，我们取得了更优的结果。
引用
@article{arxiv.1802.09971,
title = {Real-World Repetition Estimation by Div, Grad and Curl},
author = {Tom F. H. Runia and Cees G. M. Snoek and Arnold W. M. Smeulders},
journal= {arXiv preprint arXiv:1802.09971},
year = {2018}
}