基于物理的着色重建用于本征图像分解
计算机视觉与模式识别
2020-09-04 v1
摘要
我们研究了利用光度不变性与深度学习来计算本征图像（反照率与着色）的方法。我们提出了源自基于物理模型的反照率与着色梯度描述子。利用这些描述子，反照率过渡被掩蔽，并以无学习、无监督的方式直接从对应的 RGB 图像梯度计算出初始稀疏着色图。随后，提出一种优化方法来重建完整的稠密着色图。最后，我们将生成的着色图集成到一个新颖的深度学习框架中以对其进行细化，并预测相应的反照率图像以实现本征图像分解。通过此举，我们首次直接解决了着色估计中的纹理与强度歧义问题。大规模实验表明，由基于物理的不变描述子引导的方法在 MIT Intrinsics、NIR-RGB Intrinsics、Multi-Illuminant Intrinsic Images、Spectral Intrinsic Images、As Realistic As Possible 等数据集上取得了优越结果，并在 Intrinsic Images in the Wild 数据集上取得了具有竞争力的结果，同时实现了最先进的着色估计。
引用
@article{arxiv.2009.01540,
title = {Physics-based Shading Reconstruction for Intrinsic Image Decomposition},
author = {Anil S. Baslamisli and Yang Liu and Sezer Karaoglu and Theo Gevers},
journal= {arXiv preprint arXiv:2009.01540},
year = {2020}
}
备注
Submitted to Computer Vision and Image Understanding (CVIU)