SHINOBI：基于 BRDF 优化的野外神经物体分解以重建形状与光照
计算机视觉与模式识别
2024-04-02 v2 图形学
摘要
我们提出了 SHINOBI，这是一个端到端框架，用于从在不同光照、姿态和背景下捕获的物体图像中重建形状、材质和光照。基于无约束图像集合的物体逆向渲染是计算机视觉与图形学中的一项长期挑战，需要对形状、辐射度和姿态进行联合优化。我们表明，基于多分辨率哈希编码的隐式形状表示能够实现更快、更鲁棒的形状重建，并且其联合相机对齐优化优于先前的工作。此外，为了实现对光照和物体反射率（即材质）的编辑，我们将 BRDF 和光照与物体形状进行联合优化。我们的方法与类别无关，适用于物体的野外图像集合，能够生成可重新打光的 3D 资产，用于 AR/VR、电影、游戏等多种应用场景。项目页面：https://shinobi.aengelhardt.com 视频：https://www.youtube.com/watch?v=iFENQ6AcYd8&feature=youtu.be
引用
@article{arxiv.2401.10171,
title = {SHINOBI: Shape and Illumination using Neural Object Decomposition via BRDF Optimization In-the-wild},
author = {Andreas Engelhardt and Amit Raj and Mark Boss and Yunzhi Zhang and Abhishek Kar and Yuanzhen Li and Deqing Sun and Ricardo Martin Brualla and Jonathan T. Barron and Hendrik P. A. Lensch and Varun Jampani},
journal= {arXiv preprint arXiv:2401.10171},
year = {2024}
}
备注
Accepted by IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR 2024). Updated supplementary material and acknowledgements