RenderMe-360：面向高保真头部虚拟形象的大型数字资产库与基准
计算机视觉与模式识别
2023-05-24 v1
摘要
合成高保真头部虚拟形象是计算机视觉与图形学的核心问题。尽管头部虚拟形象合成算法已快速发展，最优方法在真实场景中仍面临巨大障碍。其中一个重要原因是数据集不足——1）当前公开数据集仅能支持研究者在一两个任务方向上探索高保真头部虚拟形象；2）这些数据集通常包含数据量有限、不同属性分布狭窄的数字头部资产。本文中，我们提出 RenderMe-360，一个全面的 4D 人体头部数据集以推动头部虚拟形象研究的进展。它包含海量数据资产，具有来自 500 个不同身份、由同步多视角相机以 30 FPS 拍摄的 2.43 亿+完整头部帧和超过 80 万视频序列。它是一个具有三个关键属性的头部虚拟形象大规模数字库：1）高保真：所有对象均由 60 台同步、高分辨率 2K 相机在 360 度下拍摄。2）高多样性：采集对象涵盖不同年龄、时代、种族和文化，提供外观与几何上具有独特风格的丰富素材。此外，每个对象被要求做出各种运动，如表情与头部旋转，进一步扩展了资产的丰富性。3）丰富标注：我们提供不同粒度的标注：相机参数、抠图、扫描、2D/3D 面部关键点、FLAME 拟合以及文本描述。基于该数据集，我们构建了头部虚拟形象研究的综合基准，包含五项主要任务上的 16 种最先进方法：新视角合成、新表情合成、头发渲染、头发编辑与说话头生成。我们的实验揭示了当前方法的优势与不足。RenderMe-360 为未来的头部虚拟形象探索打开了大门。
引用
@article{arxiv.2305.13353,
title = {RenderMe-360: A Large Digital Asset Library and Benchmarks Towards High-fidelity Head Avatars},
author = {Dongwei Pan and Long Zhuo and Jingtan Piao and Huiwen Luo and Wei Cheng and Yuxin Wang and Siming Fan and Shengqi Liu and Lei Yang and Bo Dai and Ziwei Liu and Chen Change Loy and Chen Qian and Wayne Wu and Dahua Lin and Kwan-Yee Lin},
journal= {arXiv preprint arXiv:2305.13353},
year = {2023}
}
备注
Technical Report; Project Page: 36; Github Link: https://github.com/RenderMe-360/RenderMe-360