用于本征分解的真实与合成混合深度训练
计算机视觉与模式识别
2018-07-31 v1
摘要
本征图像分解是将图像的反射率和光照层分离的过程，这是一个具有挑战性且欠定的问题。在本文中，我们提出使用深度卷积神经网络（CNN）系统性地解决此问题。尽管深度学习（DL）近来已被用于处理该应用，但当前的 DL 方法仅使用合成图像训练网络，因为获取真实图像的反射率和光照真值较为困难。因此，这些方法在真实图像上无法产生合理结果，且常比非 DL 技术表现更差。我们通过提出一种新颖的混合方法克服此限制，即在合成与真实图像上均训练我们的网络。具体而言，除了使用合成图像直接监督网络外，我们还通过强制网络对具有相同真实场景但不同光照的一对图像产生相同反射率来训练网络。此外，我们通过在训练和测试阶段将双边求解器层整合进系统来改进结果。实验结果表明，我们的方法在各种合成与真实数据集上在视觉和数值上均优于最先进的 DL 与非 DL 方法。
引用
@article{arxiv.1807.11226,
title = {Deep Hybrid Real and Synthetic Training for Intrinsic Decomposition},
author = {Sai Bi and Nima Khademi Kalantari and Ravi Ramamoorthi},
journal= {arXiv preprint arXiv:1807.11226},
year = {2018}
}
备注
Accepted to EGSR 2018