基于 RGB-D 视频的视角不变动作识别
计算机视觉与模式识别
2018-01-16 v2
摘要
在基于视频的动作识别中，视角变化常常带来主要挑战，因为相同动作从不同视角看可能不同。我们利用来自RGB-D相机的互补RGB和深度信息来解决此问题。所提出的技术利用两个数据流中可用的时空信息来提取对视角变化大体不敏感的动作特征。我们使用RGB数据计算稠密轨迹，这些轨迹在非线性知识迁移模型下被转化为视角不变的深度特征。类似地，深度流用于提取基于CNN的视角不变特征，并在其上计算傅里叶时间金字塔以融入时间信息。来自两个流的异构特征被组合并用作字典来预测测试样本的标签。为此，我们提出了一种稀疏-稠密协同表示分类方案，该方案在样本在提取的异构字典上的稠密与稀疏表示的判别能力之间取得平衡。
引用
@article{arxiv.1709.05087,
title = {Viewpoint Invariant Action Recognition using RGB-D Videos},
author = {Jian Liu and Naveed Akhtar and Ajmal Mian},
journal= {arXiv preprint arXiv:1709.05087},
year = {2018}
}