何处与如何：缓解稀疏输入下神经辐射场的混淆现象
计算机视觉与模式识别
2023-08-08 v1
摘要
稀疏输入下的神经辐射场（NeRF-S）在仅以有限数量观测视角合成新视角方面已展现出巨大潜力。然而，由于稀疏输入的内在局限以及非相邻视角间的间隙，渲染结果常出现过拟合与雾面问题，我们将体渲染中的这一现象称为“混淆”（CONFUSION）。本文分析了该混淆的根本原因，并将其归结为两个基本问题：“何处（WHERE）”与“如何（HOW）”。为此，我们提出一种新颖的学习框架 WaH-NeRF，通过应对以下挑战有效缓解混淆：（i）在 NeRF-S 中“何处采样？”——我们引入可变形采样策略与基于权重的互信息损失，以解决因视角数量有限而产生的采样位置混淆；（ii）在 NeRF-S 中“如何预测？”——我们提出基于姿态扰动的半监督 NeRF 学习范式与像素-块对应损失，以缓解由训练与测试视角差异引起的预测混淆。通过整合我们所提出的模块与损失函数，WaH-NeRF 在 NeRF-S 设定下优于以往方法。代码见 https://github.com/bbbbby-99/WaH-NeRF。
引用
@article{arxiv.2308.02908,
title = {Where and How: Mitigating Confusion in Neural Radiance Fields from Sparse Inputs},
author = {Yanqi Bao and Yuxin Li and Jing Huo and Tianyu Ding and Xinyue Liang and Wenbin Li and Yang Gao},
journal= {arXiv preprint arXiv:2308.02908},
year = {2023}
}
备注
Accepted In Proceedings of the 31st ACM International Conference on Multimedia (MM' 23)