基于神经点的体素化头像:用于高效逼真头部体素头像的表面引导神经点
计算机视觉与模式识别
2026-02-20 v3
摘要
渲染逼真且动态运动的人头对于在 AR/VR 和视频会议应用中确保愉悦和沉浸式的体验至关重要。然而,现有方法往往难以建模具有挑战性的面部区域(例如口腔内部、眼睛、头发/胡须),导致不真实和模糊的结果。在本文中,我们提出 {\fullname}({\name}),一种采用神经点表示以及神经体素渲染过程并摒弃基于网格的方法所强加的预定义连通性和硬性对应关系的方案。具体而言,神经点通过高分辨率 UV 位移图被策略性地约束在目标表情的表面周围,实现了增加的建模能力和更精确的控制。我们引入了三项技术创新以提高渲染和训练效率:块级深度引导(着色点)采样策略、轻量级辐射解码过程,以及训练期间的网格-误差-块(GEP)光线采样策略。通过设计,我们的 {\name} 更能处理拓扑变化区域和薄结构,同时在驱动头像时确保准确的表情控制。在 Multiface 数据集上三名受试者进行的实验证明了我们设计的有效性,优于先前的最先进(SOTA)方法,尤其是在处理具有挑战性的面部区域方面。
引用
@article{arxiv.2307.05000,
title = {Neural Point-based Volumetric Avatar: Surface-guided Neural Points for Efficient and Photorealistic Volumetric Head Avatar},
author = {Cong Wang and Di Kang and Yan-Pei Cao and Linchao Bao and Ying Shan and Song-Hai Zhang},
journal= {arXiv preprint arXiv:2307.05000},
year = {2026}
}
备注
Accepted by SIGGRAPH Asia 2023