MatrixCity:面向城市尺度神经渲染及更广泛任务的大规模城市数据集
计算机视觉与模式识别
2023-09-29 v1
摘要
神经辐射场(NeRF)及其后续变体在神经渲染方面取得了显著进展。尽管近期多数神经渲染工作聚焦于物体与小尺度场景,开发面向城市尺度场景的神经渲染方法在许多现实应用中具有巨大潜力。然而,这一研究方向受限于缺乏全面且高质量的数据集,而在真实城市尺度场景上收集此类数据集成本高昂、涉及敏感问题且技术困难。为此,我们构建了一个大规模、全面且高质量的合成数据集,用于城市尺度神经渲染研究。利用虚幻引擎 5 城市样例项目,我们开发了一条可轻松采集航拍与街景城市图像并附带真实相机位姿及一系列额外数据模态的流水线。我们的流水线还可灵活控制光照、天气、行人与车辆人群等环境因素,以支持涵盖城市尺度神经渲染及更广泛任务的各种需求。由此得到的试点数据集 MatrixCity 包含来自总面积为 的两张城市地图的 67k 张航拍图像与 452k 张街景图像。在 MatrixCity 之上,我们还进行了详尽的基准测试,不仅揭示了城市尺度神经渲染任务的独特挑战,也指出了未来工作可能的改进方向。数据集与代码将在我们的项目页面公开:https://city-super.github.io/matrixcity/。
引用
@article{arxiv.2309.16553,
title = {MatrixCity: A Large-scale City Dataset for City-scale Neural Rendering and Beyond},
author = {Yixuan Li and Lihan Jiang and Linning Xu and Yuanbo Xiangli and Zhenzhi Wang and Dahua Lin and Bo Dai},
journal= {arXiv preprint arXiv:2309.16553},
year = {2023}
}
备注
Accepted to ICCV 2023. Project page: $\href{https://city-super.github.io/matrixcity/}{this\, https\, URL}$