SAMURAI：基于无约束真实世界任意图像集合的形状与材质恢复
计算机视觉与模式识别
2022-06-01 v1 图形学
机器学习
摘要
在完全未知的采集条件下对物体进行逆渲染是计算机视觉与图形学中的基本挑战。NeRF等神经方法在新视角合成上取得了逼真结果，但它们需要已知的相机位姿。在未知相机位姿下解决该问题极具挑战性，因为它需要对形状、辐射度和位姿进行联合优化。当输入图像在野外以变化的背景和光照捕获时，这一问题更加恶化。标准位姿估计技术在此类野外图像集合中因跨图像对应点极少而失效。此外，NeRF无法在任何光照下重新打光场景，因为它作用于辐射度（反射率与光照的乘积）。我们提出了一种联合优化框架，用于估计形状、BRDF以及逐图像的相机位姿与光照。我们的方法适用于物体的野外在线图像集合，并为AR/VR等多种用例生成可重新打光的3D资产。据我们所知，我们的方法是首个以最小用户交互应对这一极度无约束任务的方法。项目主页：https://markboss.me/publication/2022-samurai/ 视频：https://youtu.be/LlYuGDjXp-8
引用
@article{arxiv.2205.15768,
title = {SAMURAI: Shape And Material from Unconstrained Real-world Arbitrary Image collections},
author = {Mark Boss and Andreas Engelhardt and Abhishek Kar and Yuanzhen Li and Deqing Sun and Jonathan T. Barron and Hendrik P. A. Lensch and Varun Jampani},
journal= {arXiv preprint arXiv:2205.15768},
year = {2022}
}