基于空间注意力网络的视频操作技能评估
计算机视觉与模式识别
2019-04-11 v2
摘要
计算机视觉的最新进展使得从视频中自动评估人类执行任务的操作技能成为可能，这在健康康复和制造等领域催生了许多重要应用。先前基于视频的技能评估方法未考虑人类评估视频时所使用的注意力机制，由于仅有一小部分视频区域对技能评估具有信息性，其性能受限。我们的动机在于估计视频中的注意力，以聚焦于对更好技能评估至关重要的视频区域。具体而言，我们提出一种新颖的基于RNN的空间注意力模型，该模型同时考虑来自先前帧的累积注意力状态以及关于进行中任务进度的上层知识。我们在一个新收集的婴儿抓握任务数据集和四个已有的手部操作任务数据集上评估了我们的方法。实验结果表明，在自动技能评估中引入注意力可取得最先进的性能。
引用
@article{arxiv.1901.02579,
title = {Manipulation-skill Assessment from Videos with Spatial Attention Network},
author = {Zhenqiang Li and Yifei Huang and Minjie Cai and Yoichi Sato},
journal= {arXiv preprint arXiv:1901.02579},
year = {2019}
}