解耦生成与聚合以提升辐射场鲁棒性
计算机视觉与模式识别
2024-09-25 v1 图形学
摘要
三平面辐射场的利用近年来因其能够有效地以高质量表征低计算成本下的3D场景而受到关注。该方法的一个关键要求是精确输入相机姿态。然而,由于三平面的局部更新特性,类似于先前联合姿态-NeRF优化工作的联合估计容易陷入局部最小化。为此,我们提出了解耦三平面生成模块,以引入全局特征上下文和平滑性来融合三平面的学习,从而减轻局部更新导致的误差。随后,我们提出了解耦平面聚合,以缓解在相机姿态更新期间常见的三平面特征聚合所导致的 entangled 现象。此外,我们引入两种阶段的热启动训练策略,以减少三平面生成器所带来的隐式约束。定量和定性结果表明,我们提出的方法在 novel view synthesis 中实现了在噪声或未知相机姿态下的领先性能,以及优化的高效收敛性。项目页面: https://gaohchen.github.io/DiGARR/。
引用
@article{arxiv.2409.15715,
title = {Disentangled Generation and Aggregation for Robust Radiance Fields},
author = {Shihe Shen and Huachen Gao and Wangze Xu and Rui Peng and Luyang Tang and Kaiqiang Xiong and Jianbo Jiao and Ronggang Wang},
journal= {arXiv preprint arXiv:2409.15715},
year = {2024}
}
备注
27 pages, 11 figures, Accepted by ECCV'2024