LIPIDS:用于光度立体声的基于学习的离散化光照规划
计算机视觉与模式识别
2024-09-05 v1
摘要
光度立体声是一种从不同光照条件下的物体图像中获取像素表面法线的强大方法。虽然已有多种方法针对从一种到两种甚至上百种图像(或光源)数量的光度立体声问题进行了不同的处理,但很少关注如何学习最优的光照配置。寻找最优配置具有挑战性,因为可能的光照方向数量庞大。此外,由于时间和资源限制,穷举采样所有可能性是不可行的。光度立体声方法在现有数据集上已展现出良好性能,而这些数据集仅稀疏采样了光照空间中的有限光照方向。因此,我们能否充分利用这些数据集进行光照规划呢?本文引入LIPIDS——Learning-based Illumination Planning In Discretized light Space,以实现光度立体声下任意光照分布下的最小且最优光照配置。我们提出了Light Sampling Network (LSNet),通过最小化法线损失来优化固定数量光源的光照方向。学习得到的光照配置可直接用于推断阶段估计表面法线,即使使用即插即用的光度立体声方法也可。对合成数据集和真实世界数据集进行的大量定性和定量分析表明,通过LIPIDS学习的光照配置下的光度立体声要么优于现有光照规划方法,要么几乎可与之相当,这些方法适用于不同的光度立体声 backbone。
引用
@article{arxiv.2409.02716,
title = {LIPIDS: Learning-based Illumination Planning In Discretized (Light) Space for Photometric Stereo},
author = {Ashish Tiwari and Mihir Sutariya and Shanmuganathan Raman},
journal= {arXiv preprint arXiv:2409.02716},
year = {2024}
}
备注
Accepted in WACV 2025