HiFiHR：通过高保真纹理从单幅图像增强三维手部重建
计算机视觉与模式识别
2023-08-29 v1 人工智能
摘要
我们提出 HiFiHR，一种高保真手部重建方法，它在基于学习的框架中利用渲染-比较策略从单幅图像生成视觉合理且精确的 3D 手部网格，同时恢复逼真纹理。我们的方法通过采用带有预定义纹理资源的参数化手部模型，并在训练期间建立渲染图像与输入图像间的纹理重建一致性，实现了优越的纹理重建。此外，基于在标注数据集上预训练网络，我们使用我们的流程施加不同程度监督，即自监督、弱监督和全监督，并探讨所学高保真纹理在增强手部姿态与形状估计中的不同层次贡献。在包括 FreiHAND 和 HO-3D 的公开基准上的实验结果表明，我们的方法在纹理重建质量上优于最先进的（SOTA）手部重建方法，同时在姿态与形状估计上保持可比精度。我们的代码见 https://github.com/viridityzhu/HiFiHR。
引用
@article{arxiv.2308.13628,
title = {HiFiHR: Enhancing 3D Hand Reconstruction from a Single Image via High-Fidelity Texture},
author = {Jiayin Zhu and Zhuoran Zhao and Linlin Yang and Angela Yao},
journal= {arXiv preprint arXiv:2308.13628},
year = {2023}
}
备注
Accepted to DAGM German Conference on Pattern Recognition 2023