面向野外场景的语义感知遮挡滤波神经辐射场
计算机视觉与模式识别
2023-03-08 v1 人工智能
图形学
机器学习
摘要
我们提出了一种从少量无约束游客照片中重建神经场景表示的学习框架。由于每张图像都包含瞬态遮挡物，在使用此类野外照片构建辐射场时，有必要将静态与瞬态分量分解，而现有方法需要大量训练数据。我们引入了SF-NeRF，旨在仅给定少量图像的情况下利用无监督的语义信息解耦这两个分量。所提方法包含一个遮挡滤波模块，该模块预测每个像素的瞬态颜色及其不透明度，使NeRF模型能够仅学习静态场景表示。该滤波模块由可训练图像编码器获得的逐像素语义特征引导学习瞬态现象，该编码器可跨多个场景训练以学习瞬态物体的先验。此外，我们提出了两种技术来防止滤波模块的模糊分解与噪声结果。我们证明在少样本设定下，我们的方法在Phototourism数据集上优于最先进的新视角合成方法。
引用
@article{arxiv.2303.03966,
title = {Semantic-aware Occlusion Filtering Neural Radiance Fields in the Wild},
author = {Jaewon Lee and Injae Kim and Hwan Heo and Hyunwoo J. Kim},
journal= {arXiv preprint arXiv:2303.03966},
year = {2023}
}
备注
11 pages, 5 figures