本征图像与语义分割的联合学习
计算机视觉与模式识别
2018-08-01 v1
摘要
当成像条件发生变化时，室外场景的语义分割会出现问题。已知反照率（反射率）对所有类型的光照效应都是不变的。因此，使用反射率图像进行语义分割任务可能是有利的。此外，不仅分割可能受益于反射率，而且分割也可能有助于反射率的计算。因此，在本文中，语义分割和本征图像分解的任务通过以联合方式探索它们的相互关系而被视作一个组合过程。为此，我们提出了一种有监督的端到端CNN架构，以联合学习本征图像分解和语义分割。我们分析了联合解决这两个问题所带来的收益。此外，提出了用于反射率辅助分割和分割辅助反射率的新的级联CNN架构作为单一任务。进一步地，创建了一个包含35K张自然环境合成图像的数据集，其中为每个物体/场景分配了相应的反照率和明暗（本征）以及语义标签（分割）。实验表明，对于自然场景，本征图像分解和语义分割的联合学习对两项任务均有益。数据集和模型可在 https://ivi.fnwi.uva.nl/cv/intrinseg 获取。
引用
@article{arxiv.1807.11857,
title = {Joint Learning of Intrinsic Images and Semantic Segmentation},
author = {Anil S. Baslamisli and Thomas T. Groenestege and Partha Das and Hoang-An Le and Sezer Karaoglu and Theo Gevers},
journal= {arXiv preprint arXiv:1807.11857},
year = {2018}
}
备注
ECCV 2018