HandNeRF：面向可动画交互双手的神经辐射场
计算机视觉与模式识别
2023-03-27 v1
摘要
我们提出一种新颖框架，利用神经辐射场（NeRF）重建交互双手的精确外观与几何，从而能从任意视角渲染照片级真实感图像与视频用于手势动画。给定单手或交互双手的多视角图像，首先采用现成的骨架估计器参数化手部姿态。随后我们设计姿态驱动形变场，将不同姿态对应到共享规范空间，并在其中优化单手的姿态解耦 NeRF。这种统一建模高效补充了双手在罕见观测区域的几何与纹理线索。同时，我们进一步利用姿态先验生成伪深度图作为遮挡感知密度学习的引导。此外，提出一种神经特征蒸馏方法实现跨域对齐以优化颜色。我们进行了大量实验验证所提 HandNeRF 的优越性，并在大规模 InterHand2.6M 数据集上报告了一系列定性与定量的最先进结果。
引用
@article{arxiv.2303.13825,
title = {HandNeRF: Neural Radiance Fields for Animatable Interacting Hands},
author = {Zhiyang Guo and Wengang Zhou and Min Wang and Li Li and Houqiang Li},
journal= {arXiv preprint arXiv:2303.13825},
year = {2023}
}
备注
CVPR 2023