外推城市视角合成基准
计算机视觉与模式识别
2025-03-14 v3 人工智能
机器学习
机器人学
摘要
光照保真的模拟器对于训练和评估以视觉为中心的自动驾驶车辆（AVs）至关重要。其核心是新视角合成（NVS），这是一种关键能力，能够生成多样化的不可见视角，以适应AVs的广泛且连续的姿态分布。近期出现的辐射场技术，如3D高斯溅写，实现了实时速度的光照保真渲染，已在大规模驾驶场景建模中广泛应用。然而，这些方法通常采用插值设置进行评估，训练和测试视图高度相关。相反，外推——即测试视图大幏偏离训练视图——仍未得到充分探索，这限制了可推广模拟技术的进步。为此，我们利用公开的AV数据集（包含多次遍历、多个车辆和多个摄像机）构建了第一个外推城市视角合成（EUVS）基准。我们在不同评估设置下对最先进的NVS方法进行了定量和定性评估。我们的结果表明，当前NVS方法容易对训练视图过拟合。此外，融合扩散先验和改进几何结构无法根本提升NVS在大幏视角变化下的表现，这凸显了需要更健壮的方法以及大规模训练的重要性。我们将公开发布数据，以推动自动驾驶和城市机器人仿真技术的发展。
引用
@article{arxiv.2412.05256,
title = {Extrapolated Urban View Synthesis Benchmark},
author = {Xiangyu Han and Zhen Jia and Boyi Li and Yan Wang and Boris Ivanovic and Yurong You and Lingjie Liu and Yue Wang and Marco Pavone and Chen Feng and Yiming Li},
journal= {arXiv preprint arXiv:2412.05256},
year = {2025}
}
备注
Project page: https://ai4ce.github.io/EUVS-Benchmark/