NeROIC:基于在线图像集合的神经对象渲染
计算机视觉与模式识别
2022-09-05 v2
摘要
我们提出了一种从在线图像集合中获取对象表示的新方法,可从具有不同相机、光照和背景的照片中捕捉任意对象的高质量几何与材质属性。这使得各种以对象为中心的渲染应用成为可能,例如从具有挑战性的野外输入中进行新视角合成、重光照与协调背景合成。采用扩展神经辐射场的多阶段方法,我们首先推断表面几何并细化粗略估计的初始相机参数,同时利用粗略前景对象掩码来提高训练效率与几何质量。我们还引入了一种鲁棒的法线估计技术,可在消除几何噪声影响的同时保留关键细节。最后,我们提取表面材质属性与环境光照,以球谐函数表示并带有处理瞬态元素(如锐利阴影)的扩展。这些组件的结合形成了一个高度模块化且高效的对象获取框架。广泛的评估与比较展示了我们的方法在捕捉有益于渲染应用的高质量几何与外观属性方面的优势。
引用
@article{arxiv.2201.02533,
title = {NeROIC: Neural Rendering of Objects from Online Image Collections},
author = {Zhengfei Kuang and Kyle Olszewski and Menglei Chai and Zeng Huang and Panos Achlioptas and Sergey Tulyakov},
journal= {arXiv preprint arXiv:2201.02533},
year = {2022}
}
备注
SIGGRAPH 2022 (Journal Track). Project page: https://formyfamily.github.io/NeROIC/ Code repository: https://github.com/snap-research/NeROIC/