DeepPS2：基于两幅不同光照图像重新审视光度立体视觉
计算机视觉与模式识别
2022-08-31 v2
摘要
光度立体视觉（photometric stereo）是利用物体在不同光照下捕获的图像恢复三维表面法线的问题，在计算机视觉研究中一直备受关注且十分重要。尽管现有的传统方法和基于深度学习的方法取得了成功，但它仍然面临挑战，原因在于：(i) 需要三幅或更多不同光照图像；(ii) 无法对未知的一般反射率建模；(iii) 训练需要准确的3D真实表面法线和已知光照信息。在本工作中，我们试图解决一个未被充分探索的问题，即仅使用两幅不同光照图像的光度立体视觉，称为PS2问题。它是介于基于单图像的重建方法（如由阴影恢复形状（Shape from Shading, SfS））与需要三幅或更多图像的传统光度立体视觉（PS）之间的中间情况。我们提出了一种基于逆渲染的深度学习框架，称为DeepPS2，它以完全自监督的方式联合执行表面法线、反照率、光照估计和图像重光照，且不需要真实数据。我们展示了在自监督设置下，图像重光照与图像重建相结合如何增强光照估计。
引用
@article{arxiv.2207.02025,
title = {DeepPS2: Revisiting Photometric Stereo Using Two Differently Illuminated Images},
author = {Ashish Tiwari and Shanmuganathan Raman},
journal= {arXiv preprint arXiv:2207.02025},
year = {2022}
}
备注
Accepted in ECCV 2022 Project Page: https://sites.google.com/iitgn.ac.in/deepps2/home