ManifoldNeRF: 面向少样本神经辐射场的视角相关图像特征监督
计算机视觉与模式识别
2023-10-23 v1 人工智能
图形学
机器学习
摘要
随着神经辐射场(NeRF)的出现,新视角合成近期取得显著进展。DietNeRF是NeRF的扩展,旨在通过为无输入图像的未知视角引入新的损失函数,仅从少量图像完成该任务。该损失函数假设预训练特征提取器应输出相同特征,即使输入图像在不同视角捕获,因为图像包含同一物体。然而,尽管该假设理想,现实中已知随着视角持续变化,特征向量也持续变化。因此,该假设会损害训练。为避免此有害训练,我们提出ManifoldNeRF,一种利用来自邻近已知视角的插值特征来监督未知视角特征向量的方法。由于该方法通过插值特征为每个未知视角提供恰当监督,其体表示学习优于DietNeRF。实验结果表明,所提方法在复杂场景中表现优于其他方法。我们还对一组视角中的若干子集进行实验,确定了适用于真实环境的有效视角集合。这为真实世界应用提供了视角模式的基本策略。代码见 https://github.com/haganelego/ManifoldNeRF_BMVC2023
引用
@article{arxiv.2310.13670,
title = {ManifoldNeRF: View-dependent Image Feature Supervision for Few-shot Neural Radiance Fields},
author = {Daiju Kanaoka and Motoharu Sonogashira and Hakaru Tamukoh and Yasutomo Kawanishi},
journal= {arXiv preprint arXiv:2310.13670},
year = {2023}
}
备注
Accepted by BMVC2023