Aug3D：用于通用新视角合成的大规模户外数据集增强
计算机视觉与模式识别
2025-01-14 v1 人工智能
机器人学
摘要
最近的全景新视角合成（NVS）进展受到广泛关注。然而，这些方法仍受限于小型室内场景。虽然基于优化的 NVS 模型试图解决此问题，但通用 feed-forward 方法仍鲜有探索。在本工作中，我们在大规模 UrbanScene3D 数据集上训练 PixelNeRL，这是一种 feed-forward NVS 模型。我们提出四种训练策略对该数据集进行聚类和训练，强调性能受限于视角重叠度不足。为此，我们引入 Aug3D，这是一种增强技术，利用传统结构-from-motion（SfM）重建的场景生成良好条件的新视角，通过网格采样和语义采样来增强 feed-forward NVS 模型的学习。我们的实验表明，将每个簇的视角数量从 20 减少到 10 可将 PSNR 提升 10%，但性能仍不理想。Aug3D 进一步通过将新生成的新视角与原始数据集组合，显著提升了模型预测新视角的能力。
引用
@article{arxiv.2501.06431,
title = {Aug3D: Augmenting large scale outdoor datasets for Generalizable Novel View Synthesis},
author = {Aditya Rauniyar and Omar Alama and Silong Yong and Katia Sycara and Sebastian Scherer},
journal= {arXiv preprint arXiv:2501.06431},
year = {2025}
}
备注
IROS 2024 Workshop, 9 Pages, 7 Figures