pixelNeRF：来自一张或少数图像的神经辐射场
计算机视觉与模式识别
2021-06-01 v3 图形学
机器学习
摘要
我们提出 pixelNeRF，一种基于一张或少数输入图像预测连续神经场景表示的学习框架。构建神经辐射场的现有方法涉及对每个场景独立优化表示，需要许多已标定视图与大量计算时间。我们通过引入以全卷积方式将 NeRF 以图像输入为条件的架构，朝解决这些缺陷迈出一步。这使得网络能跨多个场景训练以学习场景先验，使其能以前馈方式从稀疏视图集（少至一张）执行新视角合成。借助 NeRF 的体渲染方法，我们的模型可直接从图像训练而无需显式3D监督。我们在 ShapeNet 基准上针对留出物体及整个未见类别的单图像新视角合成任务进行了大量实验。我们通过在多物体 ShapeNet 场景及来自 DTU 数据集的真实场景上演示，进一步展示了 pixelNeRF 的灵活性。在所有情况下，pixelNeRF 均优于当前新视角合成与单图像3D重建的最优基线。视频与代码请访问项目网站：https://alexyu.net/pixelnerf
引用
@article{arxiv.2012.02190,
title = {pixelNeRF: Neural Radiance Fields from One or Few Images},
author = {Alex Yu and Vickie Ye and Matthew Tancik and Angjoo Kanazawa},
journal= {arXiv preprint arXiv:2012.02190},
year = {2021}
}
备注
CVPR 2021