LiveHand：实时照片级真实感神经手部渲染
图形学
2023-08-22 v3
摘要
人手是我们与周围环境交互的主要媒介，使其数字化成为一个重要问题。尽管已有若干工作对手部几何进行建模，但极少关注捕捉照片级真实感外观。此外，对于扩展现实与游戏中的应用，实时渲染至关重要。我们提出首个以神经隐式表达实时照片级真实感渲染手部的方法。这是一个具有挑战性的问题，因为手部具有纹理并承受随姿态变化的强关节运动。然而，我们表明该目标可通过我们精心设计的方法实现。这包括在神经辐射场的低分辨率渲染上训练，结合三维一致的超分辨率模块以及网格引导采样与空间规范化。我们展示了感知损失在图像空间上的新颖应用，其对于准确学习细节至关重要。我们还展示了一个实时演示，首次以照片级真实感实时渲染人手，同时建模姿态与视角相关的外观效应。我们对所有设计选择进行消融实验，表明它们优化了渲染速度与质量。视频结果与代码可从 https://vcai.mpi-inf.mpg.de/projects/LiveHand/ 获取。
引用
@article{arxiv.2302.07672,
title = {LiveHand: Real-time and Photorealistic Neural Hand Rendering},
author = {Akshay Mundra and Mallikarjun B R and Jiayi Wang and Marc Habermann and Christian Theobalt and Mohamed Elgharib},
journal= {arXiv preprint arXiv:2302.07672},
year = {2023}
}
备注
Project page: https://vcai.mpi-inf.mpg.de/projects/LiveHand/ | Accepted at ICCV '23 | 11 pages, 7 figures