HARP：从单目RGB视频重建个性化手部模型
计算机视觉与模式识别
2023-07-06 v3
摘要
我们提出了HARP（手部重建与个性化），这是一种个性化手部化身创建方法，它以人手的一段简短单目RGB视频作为输入，重建出具有高保真外观和几何形状的逼真手部化身。与神经隐式表示的主流趋势不同，HARP使用基于网格的参数化手部模型、顶点位移图、法线图和反照率来建模手部，不包含任何神经组件。正如我们的实验所验证的，我们表示的显式性质使得手部化身创建方法真正具有可扩展性、鲁棒性和高效性。HARP通过梯度下降从手持手机捕获的短序列进行优化，并可直接用于具有实时渲染能力的AR/VR应用。为了实现这一点，我们精心设计并实现了一种阴影感知的可微渲染方案，该方案对手部运动序列中经常出现的高度关节运动和自阴影以及具有挑战性的光照条件具有鲁棒性。它还能泛化到未见过的姿态和新颖视角，生成执行高度关节运动的手部动画的照片级真实渲染。此外，学习到的HARP表示可用于改善具有挑战性视角下的3D手部姿态估计质量。HARP的关键优势通过对表观重建、新视角和新姿态合成以及3D手部姿态优化的深入分析得到验证。它是一种面向AR/VR的个性化手部表示，展现了卓越的保真度和可扩展性。
引用
@article{arxiv.2212.09530,
title = {HARP: Personalized Hand Reconstruction from a Monocular RGB Video},
author = {Korrawe Karunratanakul and Sergey Prokudin and Otmar Hilliges and Siyu Tang},
journal= {arXiv preprint arXiv:2212.09530},
year = {2023}
}
备注
CVPR 2023. Project page: https://korrawe.github.io/harp-project/