从手部彩色图像学习推断其深度图
计算机视觉与模式识别
2018-12-07 v1
摘要
我们提出了基于单张 RGB 图像推断人手深度图问题的首个方法。我们通过一个以堆叠沙漏模型为主构建模块的卷积神经网络 (CNN) 实现此目标。在所提架构的多个输出中,以分阶段方式使用中间监督。为辅助训练与推断过程,在此类中间监督步骤中还估计手部分割掩码,并用于引导后续的深度估计过程。为训练与评估所提方法,我们编译并公开了 HandRGBD,一个包含 20,601 个手部视图的新数据集,每个视图由一张 RGB 图像与一张对齐的深度图组成。基于 HandRGBD,我们在消融研究中探索所提方法的变体并确定性能最佳者。广泛的实验评估结果证明,从单张 RGB 帧进行手部深度估计可达到 22mm 的精度,与当代低成本深度相机所达精度相当。这种基于 RGB 信息的手部三维重建本身作为最终结果很有价值,同时也作为若干需要深度输入的其他手部分析与感知算法的输入。本质上,在此背景下,所提方法通过使所有现有基于 RGBD 的方法适用于 RGB 输入,弥合了 RGB 与 RGBD 之间的鸿沟。
引用
@article{arxiv.1812.02486,
title = {Learning to Infer the Depth Map of a Hand from its Color Image},
author = {Vassilis C. Nicodemou and Iason Oikonomidis and Georgios Tzimiropoulos and Antonis Argyros},
journal= {arXiv preprint arXiv:1812.02486},
year = {2018}
}