DRaCoN——用于关节化虚拟人的条件化神经辐射场可微光栅化方法
计算机视觉与模式识别
2022-03-30 v1
摘要
数字人类虚拟人的获取与创建是一个重要问题，在虚拟临场、游戏和人体建模中有应用。大多数当代虚拟人生成方法可视为基于3D的方法（使用多视角数据学习带外观的3D表示，如网格、隐式曲面或体素），或基于2D的方法（学习照片级真实的虚拟人渲染但缺乏精确3D表示）。在本工作中，我们提出DRaCoN，一个学习全身体素虚拟人的框架，它利用了2D与3D神经渲染技术的优势。它由一个可微光栅化模块DiffRas组成，该模块在参数化人体模型引导下合成目标图像的低分辨率版本及额外潜在特征。DiffRas的输出随后用作我们条件化神经3D表示模块（c-NeRF）的条件，该模块使用体素渲染生成最终高分辨率图像及人体几何。DiffRas有助于获得照片级真实图像质量，而采用有符号距离场（SDF）进行3D表示的c-NeRF有助于获得精细3D几何细节。在具挑战性的ZJU-MoCap和Human3.6M数据集上的实验表明，DRaCoN在误差指标和视觉质量上均优于最先进（state-of-the-art）方法。
引用
@article{arxiv.2203.15798,
title = {DRaCoN -- Differentiable Rasterization Conditioned Neural Radiance Fields for Articulated Avatars},
author = {Amit Raj and Umar Iqbal and Koki Nagano and Sameh Khamis and Pavlo Molchanov and James Hays and Jan Kautz},
journal= {arXiv preprint arXiv:2203.15798},
year = {2022}
}
备注
Project page at https://dracon-avatars.github.io/