RealisticHands：一种用于三维手部重建的混合模型
计算机视觉与模式识别
2022-02-02 v2
摘要
从RGB图像中稳健地估计三维手部网格是一项极具价值但充满挑战的任务，其难点在于手部具有众多的自由度，以及自相似性和遮挡等问题。以往的方法通常要么使用参数化三维手部模型，要么采用无模型方法。虽然前者被认为更稳健（例如对遮挡更鲁棒），但其表达能力较弱。我们提出了一种混合方法，利用深度神经网络和基于可微渲染的优化，明显做到了两全其美。此外，我们探索了虚拟现实（VR）作为一项应用。如今大多数VR头显都配备了多个摄像头，我们可以通过将方法扩展到以自我为中心的立体领域来加以利用。这一扩展被证明对上述提及的问题更具韧性。最后，作为一个用例，我们展示了改进的图像-模型对齐可用于获取用户的手部纹理，从而实现更逼真的虚拟手部表示。
引用
@article{arxiv.2108.13995,
title = {RealisticHands: A Hybrid Model for 3D Hand Reconstruction},
author = {Michael Seeber and Roi Poranne and Marc Polleyfeys and Martin R. Oswald},
journal= {arXiv preprint arXiv:2108.13995},
year = {2022}
}
备注
International Conference on 3D Vision (3DV) 2021