基于骨架的尺度选择网络在线动作预测
计算机视觉与模式识别
2019-04-04 v2
摘要
动作预测是在仅观察到进行中活动的一部分时识别其类别标签。本文关注流式 3D 骨架序列中的在线动作预测。引入一种膨胀卷积网络，通过沿时间轴的滑动窗口对时间维度上的运动动态建模。由于在不同时间步观察到的进行中动作部分存在显著的时间尺度变化，提出一种新颖的窗口尺度选择方法，使我们的网络聚焦于进行中动作已执行的部分，并试图抑制每一步来自先前动作的可能干扰。还提出一种激活共享方案以处理相邻时间步间的重叠计算，使框架运行更高效。此外，为提升骨架输入数据下动作预测框架的性能，设计了层次化膨胀树卷积，以在每帧上学习骨架关节的多级结构化语义表示。我们在四个具挑战性的数据集上评估所提方法。大量实验证明了我们的方法在基于骨架的在线动作预测上的有效性。
引用
@article{arxiv.1902.03084,
title = {Skeleton-Based Online Action Prediction Using Scale Selection Network},
author = {Jun Liu and Amir Shahroudy and Gang Wang and Ling-Yu Duan and Alex C. Kot},
journal= {arXiv preprint arXiv:1902.03084},
year = {2019}
}
备注
This paper has been accepted by T-PAMI. DOI: 10.1109/TPAMI.2019.2898954