基于模型的3D手部重建 via 自监督学习
计算机视觉与模式识别
2021-03-23 v1
摘要
从单视角RGB图像重建3D手部由于各种手部姿态和深度歧义而具有挑战性。为了从单目图像可靠地重建3D手部，大多数最先进的方法在训练阶段严重依赖3D标注，但获取3D标注成本高昂。为减轻对标注训练数据的依赖，我们提出S2HAND，一种自监督的3D手部重建网络，能够联合估计姿态、形状、纹理和相机视角。具体而言，我们通过易于获取的2D检测关键点从输入图像中获得几何线索。为了从这些含噪几何线索中学习准确的手部重建模型，我们利用2D与3D表示之间的一致性，并提出一组新颖的损失函数以合理化神经网络的输出。我们首次证明了在不依赖人工标注的情况下训练准确的3D手部重建网络的可行性。我们的实验表明，所提方法在使用更少监督数据的情况下，取得了与近期全监督方法相当的性能。
引用
@article{arxiv.2103.11703,
title = {Model-based 3D Hand Reconstruction via Self-Supervised Learning},
author = {Yujin Chen and Zhigang Tu and Di Kang and Linchao Bao and Ying Zhang and Xuefei Zhe and Ruizhi Chen and Junsong Yuan},
journal= {arXiv preprint arXiv:2103.11703},
year = {2021}
}
备注
Accepted by CVPR21