超越RGB：基于神经辐射场的场景属性合成
计算机视觉与模式识别
2022-06-10 v1
摘要
全面的三维场景理解，包括几何与语义层面，对机器人感知等现实应用十分重要。现有工作多聚焦于开发数据驱动的判别模型用于场景理解。本文从合成模型视角提供一种新的场景理解途径，利用隐式三维表示与神经渲染的最新进展。基于神经辐射场（NeRFs）的巨大成功，我们引入基于NeRF的场景属性合成（SS-NeRF），其不仅能从新视角渲染照片级真实RGB图像，还能渲染多种精确场景属性（如外观、几何与语义）。由此，我们促进在统一框架下处理多种场景理解任务，包括语义分割、表面法线估计、重光照、关键点检测与边缘检测。我们的SS-NeRF框架可成为连接生成式学习与判别式学习的强力工具，从而有益于探究广泛有趣问题，如在学习范式内研究任务关系、向新任务迁移知识、作为数据增强促进下游判别任务，以及作为数据生成的自动标注器。
引用
@article{arxiv.2206.04669,
title = {Beyond RGB: Scene-Property Synthesis with Neural Radiance Fields},
author = {Mingtong Zhang and Shuhong Zheng and Zhipeng Bao and Martial Hebert and Yu-Xiong Wang},
journal= {arXiv preprint arXiv:2206.04669},
year = {2022}
}