同步分割与识别：迈向更精确的自我手势识别
计算机视觉与模式识别
2019-09-19 v1 机器学习
摘要
自我手部手势可用作 AR 与 VR 环境中的接口。虽然图像上下文对场景理解、物体识别、图像描述生成和活动识别等任务十分重要，但其在自我手部手势识别中作用极小。用于 AR 和 VR 环境的自我手部手势无论背景如何均传达相同信息。基于此想法，我们展示了从含自我手部的 RGB 图像生成嵌入的自我手部手势识别工作，这些嵌入同时用于自我手部分割与自我手势识别。为此，我们在公开可用的最大自我手部手势数据集上取得了比当前最优(92.2%)更好的识别准确率(96.9%)。我们提出了一种手势识别深度神经网络，其通过从变长图像序列生成并识别自我手部嵌入，从视频（含单一手势的视频）中识别自我手部手势。我们引入了应用于自我手部手势的同步分割与识别概念，给出了网络架构、训练过程以及与 EgoGesture 数据集上当前最优结果的对比。
引用
@article{arxiv.1909.08606,
title = {Simultaneous Segmentation and Recognition: Towards more accurate Ego Gesture Recognition},
author = {Tejo Chalasani and Aljosa Smolic},
journal= {arXiv preprint arXiv:1909.08606},
year = {2019}
}
备注
Accepted at ICCV Workshop for Egocentric Perception, Interaction and Computing