DeePoint：视觉指向识别与方向估计
计算机视觉与模式识别
2023-09-12 v2
摘要
在本文中，我们实现了指向的自动视觉识别与方向估计。我们提出了首个基于神经网络的指向理解方法，其建立在两项关键贡献之上。第一项是引入了首个大规模指向识别与方向估计数据集，我们称之为 DP Dataset。DP Dataset 包含 33 人以各种风格指向的超过 200 万帧画面，每帧均标注了指向时刻与 3D 方向。第二项是基于 Transformer 的新型深度网络模型 DeePoint，用于指向的联合识别与 3D 方向估计。DeePoint 是一个基于 Transformer 的网络，充分利用了身体部位（不仅是手部）的时空协调性。通过大量实验，我们证明了 DeePoint 的准确性与高效性。我们相信 DP Dataset 与 DeePoint 将作为视觉人体意图理解的坚实基础。
引用
@article{arxiv.2304.06977,
title = {DeePoint: Visual Pointing Recognition and Direction Estimation},
author = {Shu Nakamura and Yasutomo Kawanishi and Shohei Nobuhara and Ko Nishino},
journal= {arXiv preprint arXiv:2304.06977},
year = {2023}
}
备注
to be published in ICCV 2023