UVA：面向视图合成、姿态渲染、几何与纹理编辑的统一体素化虚拟形象
计算机视觉与模式识别
2023-04-17 v1
摘要
神经辐射场(NeRF)因其高质量的渲染能力（例如关于新视角和新姿态）已成为人体虚拟形象重建的流行3D表示方法。然而，先前用于编辑虚拟形象几何与外观的方法仅允许通过身体形状参数和2D纹理图进行全局编辑。在本文中，我们提出一种名为统一体素化虚拟形象(UVA)的新方法，其能够实现几何与纹理的局部独立编辑，同时保留渲染新视角和新姿态的能力。UVA使用蒙皮运动场将每个观测点变换到规范空间，并在独立的神经场中表示几何与纹理。每个场由一组结构化潜码组成，这些潜码附着于规范空间中可变形网格上的锚节点，并通过插值扩散至整个空间，从而实现局部编辑。为解决码插值中的空间歧义，我们使用局部有符号高度指示符。我们还将视角相关辐射颜色替换为姿态相关着色因子，以更好地表示不同姿态下的表面光照。在多个人体虚拟形象上的实验表明，我们的UVA在新视角合成和新姿态渲染中取得了有竞争力的结果，同时支持几何与外观的局部独立编辑。源代码将被发布。
引用
@article{arxiv.2304.06969,
title = {UVA: Towards Unified Volumetric Avatar for View Synthesis, Pose rendering, Geometry and Texture Editing},
author = {Jinlong Fan and Jing Zhang and Dacheng Tao},
journal= {arXiv preprint arXiv:2304.06969},
year = {2023}
}