基于掩码的神经网络辐射场建模
计算机视觉与模式识别
2024-03-20 v2
摘要
大多数神经网络辐射场（NeRF）泛化能力有限，这限制了其使用单一模型表示多个场景的适用性。为解决该问题，现有可泛化NeRF方法仅以图像特征为条件简单地建模。这些方法仍难以在多样场景上学习精确的全局表示，因其缺乏一种在不同点与视角间有效交互的机制。本工作中，我们揭示基于掩码的建模可显著改进3D隐式表示学习。具体而言，我们提出面向可泛化NeRF的掩码射线与视角建模（MRVM-NeRF），这是一种自监督预训练目标，用于从沿每条射线被部分掩码的特征中预测完整场景表示。借助该预训练目标，MRVM-NeRF能更好地利用不同点与视角间的相关性作为几何先验，从而增强捕捉场景内精细细节的能力并提升跨场景泛化能力。大量实验在合成与真实世界数据集上定性及定量地证明了我们所提MRVM-NeRF的有效性。此外，我们还通过实验展示了该方法与多种骨干网络的兼容性及其在少样本情形下的优越性。
引用
@article{arxiv.2304.04962,
title = {Mask-Based Modeling for Neural Radiance Fields},
author = {Ganlin Yang and Guoqiang Wei and Zhizheng Zhang and Yan Lu and Dong Liu},
journal= {arXiv preprint arXiv:2304.04962},
year = {2024}
}