Self-NeRF：一种用于少样本神经辐射场的自训练流程
计算机视觉与模式识别
2023-03-13 v1 图形学
摘要
近来，神经辐射场（NeRF）已成为从密集图像集合成新视角的有力方法。尽管性能令人印象深刻，NeRF 受困于需要大量已标定视角，且在少样本设定下精度显著下降。为应对此挑战，我们提出 Self-NeRF，一种自演进的 NeRF，能以极少输入视角迭代精炼辐射场，且无需引入额外先验。基本上，我们在迭代过程中同时以参考视角与未见视角监督模型训练。在每次迭代中，我们用前一迭代模型预测的颜色或扭曲像素来标注未见视角。然而，这些扩展的伪视角受困于颜色不精确与扭曲伪影，降低了 NeRF 的性能。为缓解此问题，我们构建了带专用嵌入的不确定性感知 NeRF。进一步采用锥熵正则化等技术以最有效的方式利用伪视角。通过在多种设定下的实验，我们验证了我们的 Self-NeRF 对含不确定性的输入具有鲁棒性，并在有限训练数据上训练时超越现有方法。
引用
@article{arxiv.2303.05775,
title = {Self-NeRF: A Self-Training Pipeline for Few-Shot Neural Radiance Fields},
author = {Jiayang Bai and Letian Huang and Wen Gong and Jie Guo and Yanwen Guo},
journal= {arXiv preprint arXiv:2303.05775},
year = {2023}
}
备注
11 pages, 11 figures