GaRField++: 强化的高斯辐射场用于大规模 3D 场景重建
计算机视觉与模式识别
2024-09-25 v3 人工智能
机器人学
摘要
本文提出了一种新型框架，用于大规模场景重建，基于 3D 高斯溶射 (3DGS)，旨在解决现有方法在可扩展性和准确性方面的挑战。为解决可扩展性问题，我们将大场景划分为多个单元，通过基于可见性的相机选择和渐进式点云扩展将每个单元的候选点云和相机视角相关联。为强化渲染质量，在与基础 3DGS 相比提出了三项改进：一种射线-高斯交叉策略、用于学习效率的新型高斯密度控制方法，以及基于 ConvKAN 网络的外观解耦模块以解决大规模场景中不均匀照明条件，以及一种包含颜色损失、深度失真损失和法线一致性损失的优化最终损失函数。最后，执行无缝拼接程序，将各个高斯辐射场合并，用于跨单元的新视角合成。评估 Mill19、Urban3D 和 MatrixCity 数据集表明，我们的方法在大规模场景重建的 SOTA 方法中持续生成更高保真度的渲染结果。我们进一步通过在自采集的商业无人机录制的视频剪辑上进行渲染，验证了所提出方法的通用性。
引用
@article{arxiv.2409.12774,
title = {GaRField++: Reinforced Gaussian Radiance Fields for Large-Scale 3D Scene Reconstruction},
author = {Hanyue Zhang and Zhiliu Yang and Xinhe Zuo and Yuxin Tong and Ying Long and Chen Liu},
journal= {arXiv preprint arXiv:2409.12774},
year = {2024}
}