面向在线与早期手势检测的过程建模
计算机视觉与模式识别
2019-09-17 v1
摘要
手势的在线与早期检测对于构建基于非接触手势的界面至关重要。这些界面应在视频帧流而非完整视频上运行，并在手势完成前更早阶段检测出手势存在，以提供实时用户体验。为此，识别手势在不同阶段中的进展过程十分重要，从而可在达到期望执行阶段时触发相应响应。对此，我们提出一种简洁而有效的多任务学习框架，在帧级识别的同时对手势进展过程进行建模。所提框架以高精度在早期阶段识别手势，并在离线配置下于 NVIDIA 手势数据集上取得 87.8% 的当前最优识别准确率，接近人类 88.4% 的准确率，且将最优水平提升逾 4%。我们还引入了 NVIDIA 手势数据集的紧致分段标注，并为此数据集建立了手势定位的强基线。我们亦在 Montalbano 数据集上评估了框架并报告了具竞争力的结果。
引用
@article{arxiv.1909.06672,
title = {Progression Modelling for Online and Early Gesture Detection},
author = {Vikram Gupta and Sai Kumar Dwivedi and Rishabh Dabral and Arjun Jain},
journal= {arXiv preprint arXiv:1909.06672},
year = {2019}
}
备注
3DV 2019 Oral paper