MegaScenes：大规模场景级视角合成
计算机视觉与模式识别
2024-08-23 v2
摘要
场景级新视角合成（NVS）是许多视觉和图形应用的基础。最近，基于姿态条件的扩散模型取得了显著进展，通过从 2D 基础模型中提取 3D 信息，但这些方法受限于缺乏场景级训练数据的不足。常见的数据集选择要么由孤立对象（Objaverse）组成，要么由以对象为中心且姿态分布有限的场景构成（DTU、CO3D）。本文我们从互联网照片集合中创建了一个大规模场景级数据集，称为 MegaScenes，其中包含来自世界各地 10 万多个结构从运动（SfM）重建。互联网照片代表可扩展的数据源，但伴随着照明和瞬态对象的挑战。我们解决了这些问题，以进一步创建适用于 NVS 任务的子集。此外，我们分析了最先进 NVS 方法的失败案例，显著改进了生成一致性。通过大量实验，我们验证了我们的数据集和方法在生成野外场景方面的有效性。有关数据集和代码的详细信息，请参见我们的项目页面 https://megascenes.github.io。
引用
@article{arxiv.2406.11819,
title = {MegaScenes: Scene-Level View Synthesis at Scale},
author = {Joseph Tung and Gene Chou and Ruojin Cai and Guandao Yang and Kai Zhang and Gordon Wetzstein and Bharath Hariharan and Noah Snavely},
journal= {arXiv preprint arXiv:2406.11819},
year = {2024}
}
备注
Accepted at ECCV 2024. Our project page is at https://megascenes.github.io