MixNeRF：以混合密度建模光线实现稀疏输入下的新视角合成
计算机视觉与模式识别
2023-04-13 v2
摘要
神经辐射场（NeRF）凭借其简洁的概念与最先进的品质在新视角合成中开创了新局面。然而，除非使用具有不同相机位姿的密集图像集训练，否则其性能会严重下降，这阻碍了其实用部署。尽管先前解决该问题的方法取得了可喜结果，但它们严重依赖额外的训练资源，这与追求训练效率的稀疏输入新视角合成理念相悖。本工作中，我们提出 MixNeRF，一种通过以混合密度模型建模光线来实现稀疏输入新视角合成的有效训练策略。我们的 MixNeRF 通过对沿光线样本 RGB 颜色以混合分布建模来估计其联合分布。我们还提出光线深度估计这一新任务作为有用的训练目标，其与 3D 场景几何高度相关。此外，我们基于估计的光线深度以重新生成的混合权重对颜色建模，进一步提升了针对颜色与视点的鲁棒性。我们的 MixNeRF 在各种标准基准上以更优的训练与推理效率超越了其他最先进方法。
引用
@article{arxiv.2302.08788,
title = {MixNeRF: Modeling a Ray with Mixture Density for Novel View Synthesis from Sparse Inputs},
author = {Seunghyeon Seo and Donghoon Han and Yeonjin Chang and Nojun Kwak},
journal= {arXiv preprint arXiv:2302.08788},
year = {2023}
}
备注
CVPR 2023. Project Page: https://shawn615.github.io/mixnerf/