VMRF：基于视图匹配的神经辐射场
计算机视觉与模式识别
2023-06-13 v2
摘要
神经辐射场（NeRF）通过从多视角 2D 图像隐式建模 3D 表示，在新视角合成中展现了非常令人印象深刻的性能。然而，大多数现有研究在训练 NeRF 模型时使用合理的相机位姿初始化或手工设计的相机位姿分布，而在各种真实世界数据中这些往往不可用或难以获取。我们设计了 VMRF，一种创新的视图匹配 NeRF，能够在无需相机位姿或相机位姿分布先验知识的情况下进行有效 NeRF 训练。VMRF 引入了一种视图匹配方案，利用非平衡最优传输生成特征传输计划，用于将随机初始化相机位姿下渲染的图像映射到对应的真实图像。以该特征传输计划为指导，设计了一种新颖的位姿校准技术，通过预测渲染图像与真实图像对之间的相对位姿变换来修正初始随机化的相机位姿。在多个合成与真实数据集上的大量实验表明，所提出的 VMRF 在定性与定量上均以大幅优势优于当前最优方法（SOTA）。
引用
@article{arxiv.2207.02621,
title = {VMRF: View Matching Neural Radiance Fields},
author = {Jiahui Zhang and Fangneng Zhan and Rongliang Wu and Yingchen Yu and Wenqing Zhang and Bai Song and Xiaoqin Zhang and Shijian Lu},
journal= {arXiv preprint arXiv:2207.02621},
year = {2023}
}
备注
This paper has been accepted to ACM MM 2022