基于协方差轨迹速率不变分析的视频动作识别
计算机视觉与模式识别
2015-04-13 v2
摘要
视频中的动作统计分类主要通过从图像帧中提取相关特征（特别是协方差特征）并研究与这些特征时间演化相关的时间序列来进行。活动视频的自然数学表示形式是协方差流形（即对称正定矩阵 (SPDMs) 集合）上的参数化轨迹。动作执行速率的可变性意味着所得轨迹的参数化可变，从而使其分类复杂化。由于动作类别对执行速率具有不变性，因此需要速率不变度量来比较轨迹。最近的一篇论文使用传输平方根向量场 (TSRVFs) 来表示轨迹，其定义为将轨迹的缩放速度向量平行移动到流形上的参考切空间。为了避免选择参考的任意性并减少此映射过程中引入的失真，我们开发了一种纯内在方法，通过在轨迹起点重新定义其 TSRVFs 来表示 SPDM 轨迹，并将其作为流形上向量丛的元素进行分析。利用 SPDM 向量丛上的自然 Riemann 度量，我们在该向量丛关于重参数化群的商空间中计算轨迹间的测地线路径和测地线距离。这使得最终的轨迹比较对其重参数化具有不变性。我们在两个涉及视频分类的应用中展示了该框架：视觉语音识别（唇读）和手势识别。在这两种情况下，我们取得的结果均与现有文献相当或更优。
引用
@article{arxiv.1503.06699,
title = {Video-Based Action Recognition Using Rate-Invariant Analysis of Covariance Trajectories},
author = {Zhengwu Zhang and Jingyong Su and Eric Klassen and Huiling Le and Anuj Srivastava},
journal= {arXiv preprint arXiv:1503.06699},
year = {2015}
}