用于增强现实应用中鲁棒手势合成的视频生成
计算机视觉与模式识别
2019-12-09 v3
摘要
在增强现实与虚拟现实（AR/VR）应用中，手势是一种自然的交互方式。近来，人们越来越关注如何摆脱精确手势识别对微软 HoloLens、Daqri 和 Meta Glasses 等昂贵专有设备中复杂传感器设置的依赖。此类解决方案大多依赖多模态传感器数据或深度神经网络，而它们可从丰富的标注数据中极大受益。数据集是任何基于深度学习的研究不可或缺的组成部分。无论在为这些模型训练提供足够数据方面，还是在为竞争算法提供基准测试方面，数据集都是该领域取得实质性进展的主要原因。然而，为手势识别等复杂任务生成足够的标注数据正变得愈发困难。本工作的目标是引入一个能够生成具有标注手部边界框和指尖的照片级真实视频的框架，以辅助设计和训练 AR/VR 应用中手势识别模型并进行基准测试。我们展示了该框架在生成具有多样化背景的视频方面的有效性。
引用
@article{arxiv.1911.01320,
title = {Synthetic Video Generation for Robust Hand Gesture Recognition in Augmented Reality Applications},
author = {Varun Jain and Shivam Aggarwal and Suril Mehta and Ramya Hebbalaguppe},
journal= {arXiv preprint arXiv:1911.01320},
year = {2019}
}
备注
Presented at the ICCV 2019 Workshop: The 5th International Workshop on Observing And Understanding Hands In Action