统一对应关系、位姿与NeRF以实现基于立体图像对的免位姿新视角合成
计算机视觉与模式识别
2024-04-09 v2
摘要
本工作深入探讨了基于立体图像对的免位姿新视角合成任务，这是3D视觉中一项极具挑战性的开创性任务。我们的创新框架前所未有地将2D对应匹配、相机位姿估计和NeRF渲染无缝集成，促进了这些任务的协同增强。我们通过设计一种利用共享表示的架构实现了这一点，该架构作为增强3D几何理解的基础。利用这些任务之间固有的相互作用，我们的统一框架通过所提出的训练策略进行端到端训练，以提高整体模型精度。通过对来自两个真实世界数据集的多样室内外场景进行广泛评估，我们证明我们的方法比以前的方法取得了实质性改进，特别是在极端视角变化和缺乏准确相机位姿的场景中。
引用
@article{arxiv.2312.07246,
title = {Unifying Correspondence, Pose and NeRF for Pose-Free Novel View Synthesis from Stereo Pairs},
author = {Sunghwan Hong and Jaewoo Jung and Heeseong Shin and Jiaolong Yang and Seungryong Kim and Chong Luo},
journal= {arXiv preprint arXiv:2312.07246},
year = {2024}
}
备注
Project page: https://ku-cvlab.github.io/CoPoNeRF/ CVPR2024 camera ready version (Highlight)