基于手部相机的手部状态识别
计算机视觉与模式识别
2016-03-23 v3
摘要
我们重新审视腕戴式相机系统（称为HandCam）用于识别手部活动的研究。与自我中心系统（称为HeadCam）相比，HandCam有两个独特属性：(1) 避免检测手的需要；(2) 更一致地观察手部活动。利用这些属性，我们提出一种基于深度学习的方法识别手部状态（自由手与活动手、手势、物体类别），并发现物体类别。此外，我们提出一种新颖的双流深度网络进一步利用HandCam和HeadCam。我们收集了一个新的同步HandCam和HeadCam数据集，包含三个场景捕获的20个视频用于手部状态识别。实验表明我们的HandCam系统在所有任务中始终优于基于深度学习的HeadCam方法（带估计操作区域）和基于稠密轨迹的HeadCam方法。我们还显示不同用户捕获的HandCam视频可轻松对齐以提高跨场景用例中自由手与活动手识别准确率（3.3%提升）。此外，我们观察到微调卷积神经网络持续提高准确率。最后，我们结合HandCam和HeadCam特征的双流深度网络在五个任务中的四个取得最佳性能。随着更多数据，我们相信联合HandCam和HeadCam系统可稳健记录日常生活中的手部状态。
引用
@article{arxiv.1512.01881,
title = {Recognition from Hand Cameras},
author = {Cheng-Sheng Chan and Shou-Zhong Chen and Pei-Xuan Xie and Chiung-Chih Chang and Min Sun},
journal= {arXiv preprint arXiv:1512.01881},
year = {2016}
}