双网格网络：从单张深度图回归手部网格顶点
计算机视觉与模式识别
2019-07-26 v1
摘要
我们提出一种通过从单张深度图回归网格模型的顶点坐标来恢复手部稠密 3D 表面的方法。为此，我们使用一个两阶段 2D 全卷积网络架构。在第一阶段，网络估计深度图或图像网格上每个像素到网格网格的稠密对应场。在第二阶段，我们设计了一个可微算子，以映射从前一阶段学到的特征并在网格网格上回归一个 3D 坐标图。最后，我们从网格网格采样以恢复网格顶点，并以闭式拟合一个关节化模板网格。在推理期间，网络可在单次前向传播中预测所有网格顶点、每个关节的变换矩阵以及关节坐标。当在稀疏关键点坐标上给定监督时，我们的方法在 NYU 数据集上取得了关键点定位的 SOTA 精度，同时恢复网格顶点与稠密对应图。我们的框架也可通过最小化一组数据拟合与运动学先验项以自监督方式学习。在训练时使用多相机装置以解决自遮挡，它可在无任何人工标注的情况下与强监督方法竞争。
引用
@article{arxiv.1907.10695,
title = {Dual Grid Net: hand mesh vertex regression from single depth maps},
author = {Chengde Wan and Thomas Probst and Luc Van Gool and Angela Yao},
journal= {arXiv preprint arXiv:1907.10695},
year = {2019}
}