DNA-Rendering：面向高保真以人为中心渲染的多样化神经角色库
计算机视觉与模式识别
2023-10-03 v2
摘要
逼真的以人为中心渲染在计算机视觉与计算机图形学中均起着关键作用。多年来算法方面取得了快速进展，然而现有的以人为中心渲染数据集与基准在多样性方面相当匮乏，而多样性对渲染效果至关重要。研究者通常受限于在当前数据集上探索和评估一小部分渲染问题，而真实世界应用要求方法在不同场景下具有鲁棒性。本工作中，我们提出 DNA-Rendering，一个大规模、高保真的神经角色渲染人体表演数据仓储。DNA-Rendering 具有若干引人注目的特性。首先，我们的数据集包含超过 1500 名人体对象、5000 条动作序列以及 67.5M 帧的数据量。其次，我们为每个对象提供丰富资产——2D/3D 人体关键点、前景掩码、SMPLX 模型、衣物/配饰材质、多视角图像与视频。这些资产提升了当前方法在下游渲染任务上的精度。第三，我们构建了一套专业的多视角采集系统，包含 60 台同步相机，最高分辨率 4096 x 3000、速度 15 fps，并采用严格的相机标定步骤，确保为任务训练与评估提供高质量资源。随数据集一同，我们提供了一个大规模、定量的全尺度基准，包含多项任务以评估新颖视角合成、新颖姿态动画合成以及新颖身份渲染方法的现有进展。本文中，我们将 DNA-Rendering 工作描述为对以人为中心渲染新观察、挑战与未来方向的揭示。数据集、代码与基准将公开于 https://dna-rendering.github.io/
引用
@article{arxiv.2307.10173,
title = {DNA-Rendering: A Diverse Neural Actor Repository for High-Fidelity Human-centric Rendering},
author = {Wei Cheng and Ruixiang Chen and Wanqi Yin and Siming Fan and Keyu Chen and Honglin He and Huiwen Luo and Zhongang Cai and Jingbo Wang and Yang Gao and Zhengming Yu and Zhengyu Lin and Daxuan Ren and Lei Yang and Ziwei Liu and Chen Change Loy and Chen Qian and Wayne Wu and Dahua Lin and Bo Dai and Kwan-Yee Lin},
journal= {arXiv preprint arXiv:2307.10173},
year = {2023}
}
备注
This paper is accepted by ICCV2023. Project page: https://dna-rendering.github.io/