用于时空识别任务的动态与外观特征协方差
计算机视觉与模式识别
2016-06-20 v1
摘要
在本文中，我们引入了一个面向实际场景的端到端视频分析框架，该框架建立在稀疏表示的理论基础之上，包含一种用于通用视频分析的新型描述子。在我们的方法中，通过计算光流以及强度的一阶和二阶导数来提取运动学特征，分别表示动态与外观。然后利用这些特征构建协方差矩阵，以捕捉从视频中提取的低层动态与外观特征的联合统计量。使用由带标签训练样本构建的基于协方差描述子的过完备字典，我们将低层事件识别表述为一个稀疏线性逼近问题。在此框架内，我们将协方差矩阵（同时需符合半正定矩阵空间）的稀疏分解表述为一个行列式最大化问题。此外，由于协方差矩阵位于非线性黎曼流形上，我们将我们先前的方法与适用于协方差矩阵等价向量空间的稀疏线性逼近替代方案进行比较。这是通过使用正交匹配追踪算法在字典上搜索查询数据的最佳投影来实现的。我们展示了我们的视频描述子在两个不同应用领域的适用性，即无约束场景下的低层事件识别和基于单次学习的手势识别。我们的实验为大规模视频分析提供了有前景的见解。
引用
@article{arxiv.1606.05355,
title = {Covariance of Motion and Appearance Featuresfor Spatio Temporal Recognition Tasks},
author = {Subhabrata Bhattacharya and Nasim Souly and Mubarak Shah},
journal= {arXiv preprint arXiv:1606.05355},
year = {2016}
}