PKU-DyMVHumans：面向高保真动态人体建模的多视角视频基准
计算机视觉与模式识别
2024-04-03 v3
摘要
动态场景的高质量人体重建和照片级真实感渲染是计算机视觉和图形学中一个长期存在的问题。尽管在开发各种捕捉系统和重建算法方面投入了大量精力，但最近的进展在处理宽松或过大的服装以及过于复杂的姿态时仍然存在困难。部分原因在于获取高质量人体数据集的挑战。为了促进这些领域的发展，在本文中，我们提出了 PKU-DyMVHumans，这是一个以人为中心的通用数据集，用于从密集多视角视频中对动态人体场景进行高保真重建和渲染。它包含由超过 56 台同步相机在各种场景下捕捉的 820 万帧。这些序列包含跨越 45 个不同场景的 32 个人类对象，每个对象都具有高细节的外观和逼真的人体运动。受基于神经辐射场（NeRF）的场景表示的最新进展启发，我们精心搭建了一个现成的框架，该框架易于提供那些最先进的基于 NeRF 的实现并在 PKU-DyMVHumans 数据集上进行基准测试。它为各种应用铺平了道路，例如细粒度前景/背景分解、高质量人体重建以及动态场景的照片级真实感新视角合成。在该基准上进行了广泛的研究，展示了使用此类高保真动态数据所产生的新观察结果和挑战。
引用
@article{arxiv.2403.16080,
title = {PKU-DyMVHumans: A Multi-View Video Benchmark for High-Fidelity Dynamic Human Modeling},
author = {Xiaoyun Zheng and Liwei Liao and Xufeng Li and Jianbo Jiao and Rongjie Wang and Feng Gao and Shiqi Wang and Ronggang Wang},
journal= {arXiv preprint arXiv:2403.16080},
year = {2024}
}
备注
CVPR2024(accepted). Project page: https://pku-dymvhumans.github.io