SSNeRF: 稀疏视角半监督神经辐射场与增强方法
计算机视觉与模式识别
2024-08-20 v1
摘要
稀疏视角 NeRF 具有挑战性，因为有限的输入图像导致体积渲染的欠约束优化问题。现有方法通过依赖补充信息（如深度图）来解决此问题。然而，准确生成这些补充信息仍然存在困难，并且常常导致 NeRF 产生具有不良伪影的图像。为了解决这些伪影并增强鲁棒性，我们提出了 SSNeRF，一种基于教师-学生框架的稀疏视角半监督 NeRF 方法。我们的核心思想是通过逐步加剧的稀疏视角退化来挑战 NeRF 模块，同时提供高置信度的伪标签。这种方法有助于 NeRF 模型意识到与稀疏视角相关的噪声和不完整信息，从而提高其鲁棒性。SSNeRF 的新颖之处在于其稀疏视角特定的增强和半监督学习机制。在此方法中，教师 NeRF 生成新视角并给出置信度分数，而受到增强输入扰动的学生 NeRF 从高置信度伪标签中学习。我们的稀疏视角退化增强逐步向体积渲染权重注入噪声、扰动脆弱层中的特征图，并模拟稀疏视角模糊。这些增强策略迫使学生 NeRF 识别退化并产生更清晰的渲染视角。通过将学生参数转移到教师，教师在后续训练迭代中获得了增强的鲁棒性。大量实验证明了我们 SSNeRF 在生成具有更少稀疏视角退化的新视角方面的有效性。我们将在接收后发布代码。
引用
@article{arxiv.2408.09144,
title = {SSNeRF: Sparse View Semi-supervised Neural Radiance Fields with Augmentation},
author = {Xiao Cao and Beibei Lin and Bo Wang and Zhiyong Huang and Robby T. Tan},
journal= {arXiv preprint arXiv:2408.09144},
year = {2024}
}