AvatarReX：基于实时可驱动表达性全身虚拟人
计算机视觉与模式识别
2023-05-09 v1 图形学
摘要
我们提出 AvatarReX，一种从视频数据学习基于 NeRF 的全身虚拟人的新方法。所学习的虚拟人不仅支持对身体、手部和面部的统一表达性控制，还支持实时动画与渲染。为此，我们提出一种组合式虚拟人表示，其中身体、手部和面部被分别建模，在适当利用参数化网格模板结构先验的同时不损害表示的灵活性。此外，我们对每个部分解耦几何与外观。基于这些技术设计，我们提出一种专用的延迟渲染管线，能够以实时帧率执行以合成高质量的自由视角图像。几何与外观的解耦还使我们能够设计一种结合体渲染与表面渲染的双阶段训练策略用于网络训练。通过这种方式，可以施加块级监督以迫使网络在几何估计的基础上学习清晰的外观细节。总体而言，我们的方法能够实现具有实时渲染能力的表达性全身虚拟人的自动构建，并为新颖的身体动作与面部表情生成带有动态细节的逼真图像。
引用
@article{arxiv.2305.04789,
title = {AvatarReX: Real-time Expressive Full-body Avatars},
author = {Zerong Zheng and Xiaochen Zhao and Hongwen Zhang and Boning Liu and Yebin Liu},
journal= {arXiv preprint arXiv:2305.04789},
year = {2023}
}
备注
To appear in SIGGRAPH 2023 Journal Track. Project page at https://liuyebin.com/AvatarRex/