为 NeRF 节食：语义一致的少样本视角合成
计算机视觉与模式识别
2021-04-02 v1 人工智能
图形学
机器学习
摘要
我们提出 DietNeRF，一种从少量图像估计得到的 3D 神经场景表示。神经辐射场（NeRF）通过多视角一致性学习场景的连续体积表示，并可通过光线投射从新视角渲染。尽管 NeRF 在给定大量图像（对于具有挑战性的 360° 场景多达 100 张）时具有重建几何与精细细节的惊人能力，但当仅有少量输入视角可用时，它常对其图像重建目标找到退化解。为提升少样本质量，我们提出 DietNeRF。我们引入一个辅助的语义一致性损失，鼓励在新姿态下生成逼真的渲染。DietNeRF 在单个场景上训练以（1）从相同姿态正确渲染给定输入视角，以及（2）在不同随机姿态间匹配高层语义属性。我们的语义损失允许我们从任意姿态监督 DietNeRF。我们使用预训练的视觉编码器（如 CLIP，一个在数亿张来自网络的多样化单视角 2D 照片上以自然语言监督训练的视觉 Transformer）提取这些语义。在实验中，DietNeRF 在从头学习时改善了少样本视角合成的感知质量，当在多视角数据集上预训练时可用少至一张观测图像渲染新视角，并对完全未观测区域产生合理的补全。
引用
@article{arxiv.2104.00677,
title = {Putting NeRF on a Diet: Semantically Consistent Few-Shot View Synthesis},
author = {Ajay Jain and Matthew Tancik and Pieter Abbeel},
journal= {arXiv preprint arXiv:2104.00677},
year = {2021}
}
备注
Project website: https://www.ajayj.com/dietnerf