Hand Avatar：基于单目视频的自由姿态手部动画与渲染
计算机视觉与模式识别
2023-03-23 v2 图形学
摘要
我们提出HandAvatar，一种用于手部动画与渲染的新颖表征，可生成平滑组合几何与感知自遮挡的纹理。具体而言，我们首先开发MANO-HD模型作为高分辨率网格拓扑以拟合个性化手形。随后，我们将手部几何分解为逐骨骼刚体部件，再重组配对几何编码以导出跨部件一致的占据场。在纹理建模方面，我们提出一种感知自遮挡的着色场(SelF)。在SelF中，可驱动锚点铺设于MANO-HD表面，以记录多种手部姿态下的反照率信息。此外，设计有向软占据以描述射线-表面关系，并借此生成光照场，用于解耦与姿态无关的反照率及与姿态相关的光照。经单目视频数据训练，我们的HandAvatar可实现自由姿态手部动画与渲染，同时达到优异的外观保真度。我们还展示了HandAvatar为手部外观编辑提供了一条途径。项目主页：https://seanchenxy.github.io/HandAvatarWeb。
引用
@article{arxiv.2211.12782,
title = {Hand Avatar: Free-Pose Hand Animation and Rendering from Monocular Video},
author = {Xingyu Chen and Baoyuan Wang and Heung-Yeung Shum},
journal= {arXiv preprint arXiv:2211.12782},
year = {2023}
}