I2UV-HandNet: 用于精确高保真3D手部网格建模的图到UV预测网络
计算机视觉与模式识别
2021-07-30 v2
摘要
从彩色图像重建高精度、高保真的3D人手在人机交互和虚拟现实应用中复制逼真虚拟手方面起着核心作用。由于各种手势和严重遮挡,当前方法的结果缺乏准确性和保真度。在本研究中,我们提出一种I2UV-HandNet模型,用于准确的手势与形状估计以及3D手部超分辨率重建。具体而言,我们提出了首个基于UV的3D手形表示。为从RGB图像恢复3D手部网格,我们设计了一个AffineNet,以图像到图像翻译的方式从输入预测UV位置图。为获得更高保真度的形状,我们利用额外的SRNet将AffineNet输出的低分辨率UV图转换为高分辨率UV图。我们首次展示了基于UV的手形表示的表征能力。我们的实验表明,所提方法在多个具有挑战性的基准上达到了最先进的性能。
引用
@article{arxiv.2102.03725,
title = {I2UV-HandNet: Image-to-UV Prediction Network for Accurate and High-fidelity 3D Hand Mesh Modeling},
author = {Ping Chen and Yujin Chen and Dong Yang and Fangyin Wu and Qin Li and Qingpei Xia and Yong Tan},
journal= {arXiv preprint arXiv:2102.03725},
year = {2021}
}
备注
Accepted by ICCV2021; 14 pages, 8 figures