从单目 RGB 图像端到端恢复手部网格
计算机视觉与模式识别
2019-09-10 v3
摘要
在本文中，我们提出一个手部网格恢复（HAMR）框架，以解决从单张 RGB 图像重建人类手部完整 3D 网格的问题。与已有的基于 RGB 或/及深度图像数据的 2D 或 3D 手部姿态估计研究不同，HAMR 能为单目手部图像理解提供更具表达力且更有用的网格表示。特别地，该网格表示通过用形状与相对 3D 关节角参数化一个通用 3D 手部模型来实现。利用此网格表示，我们可以通过网格顶点间的线性插值轻松计算 3D 关节位置，同时通过 3D 关节的投影获得 2D 关节位置。为此，可根据所推导的表示与真值标签定义一个可微的重投影损失，从而使我们的框架可端到端训练。定性实验表明，即便在严重遮挡下，我们的框架也能恢复出令人满意的 3D 手部网格。在定量上，在多个基准数据集上，我们的方法在单目 RGB 图像的 2D 与 3D 手部姿态估计方面也优于当前最优（SOTA）方法。
引用
@article{arxiv.1902.09305,
title = {End-to-end Hand Mesh Recovery from a Monocular RGB Image},
author = {Xiong Zhang and Qiang Li and Hong Mo and Wenbo Zhang and Wen Zheng},
journal= {arXiv preprint arXiv:1902.09305},
year = {2019}
}
备注
11 pages;