用于联合学习阴影检测与阴影去除的堆叠条件生成对抗网络
计算机视觉与模式识别
2017-12-08 v1
摘要
从单幅图像理解阴影在以往研究中自然衍生为两类任务，即阴影检测与阴影去除。本文提出一种多任务视角，这是现有工作所未采纳的，以端到端方式联合学习检测与去除，旨在享有彼此相互促进的收益。我们的框架基于一种新颖的堆叠条件生成对抗网络（ST-CGAN），其由两个堆叠的 CGAN 组成，每个含一个生成器与一个判别器。具体而言，阴影图像被输入第一个生成器，产生阴影检测掩码。该阴影图像与其预测掩码拼接后送入第二个生成器，从而恢复其无阴影图像。此外，两个对应的判别器极有可能分别对检测出的阴影区域和通过去阴影的重建建模更高层关系与全局场景特征。更重要的是，对于多任务学习，我们所设计的堆叠范式提供了一种不同于常用多分支版本的新颖视角。为充分评估所提框架性能，我们构建了首个大规模基准，包含 135 个场景下的 1870 个图像三元组（阴影图像、阴影掩码图像与无阴影图像）。大量实验结果一致表明，ST-CGAN 在两个大规模公开数据集及我们新发布的数据集上优于若干代表性 SOTA 方法。
引用
@article{arxiv.1712.02478,
title = {Stacked Conditional Generative Adversarial Networks for Jointly Learning Shadow Detection and Shadow Removal},
author = {Jifeng Wang and Xiang Li and Le Hui and Jian Yang},
journal= {arXiv preprint arXiv:1712.02478},
year = {2017}
}