基于多视角梯度光照的可重光照神经人体资产
计算机视觉与模式识别
2023-06-26 v3 人工智能
摘要
人体建模与重光照是计算机视觉与图形学中的两个基本问题，高质量数据集可极大促进相关研究。然而，现有大多数人数据集仅提供相同光照下捕获的多视角人体图像。尽管对建模任务有价值，它们难以直接用于重光照问题。为推动两领域研究，本文提出 UltraStage，一个包含逾 2000 个高质量人体资产的新 3D 人体数据集，捕获于多视角与多光照设置下。具体而言，每个样本提供 32 个环绕视角，分别由一盏白光与两种梯度光照照明。除常规多视角图像外，梯度光照有助于恢复精细表面法线与空间变化材质图，支持多种重光照应用。受近期神经表示进展启发，我们进一步将每个样本解释为神经人体资产，可在任意光照下合成新视角。我们展示神经人体资产可实现极高捕获性能，并能表示面部皱纹与衣褶等细节。我们还在单图重光照任务中验证 UltraStage，利用神经资产生成的虚拟重光照数据训练神经网络，并展示相较先前方法的真实感渲染提升。UltraStage 将公开供学界使用，以激发人体建模与渲染各类任务的显著未来发展。数据集见 https://miaoing.github.io/RNHA。
引用
@article{arxiv.2212.07648,
title = {Relightable Neural Human Assets from Multi-view Gradient Illuminations},
author = {Taotao Zhou and Kai He and Di Wu and Teng Xu and Qixuan Zhang and Kuixiang Shao and Wenzheng Chen and Lan Xu and Jingyi Yu},
journal= {arXiv preprint arXiv:2212.07648},
year = {2023}
}
备注
Project page: https://miaoing.github.io/RNHA