基于合成数据的语义雾天场景理解
计算机视觉与模式识别
2019-05-21 v3
摘要
本工作解决语义雾天场景理解（SFSU）问题。尽管在图像去雾和晴好天气图像语义场景理解方面已有广泛研究，但对SFSU关注甚少。由于收集和标注雾天图像困难，我们选择在对晴好天气户外场景的真实图像上生成合成雾，然后利用这些部分合成的数据，通过采用最先进的卷积神经网络（CNN）进行SFSU。特别地，开发了一个利用不完整深度信息向真实晴好天气图像添加合成雾的完整流程。我们将雾合成应用于Cityscapes数据集，生成了含20550张图像的Foggy Cityscapes。SFSU通过两种方式解决：1）典型监督学习；2）一种新型半监督学习，其将1）与从晴好天气图像到其合成雾对应物的无监督监督转移相结合。此外，我们仔细研究了图像去雾对SFSU的作用。为评估，我们提出Foggy Driving，一个包含101张描绘雾天驾驶场景的真实图像的数据集，带有语义分割和目标检测的 ground truth 标注。大量实验表明：1）使用我们的合成数据的监督学习显著提升了最先进CNN在Foggy Driving上SFSU的性能；2）我们的半监督学习策略进一步提升了性能；3）图像去雾在我们的学习策略下对SFSU仅有微小改进。数据集、模型和代码已公开。
引用
@article{arxiv.1708.07819,
title = {Semantic Foggy Scene Understanding with Synthetic Data},
author = {Christos Sakaridis and Dengxin Dai and Luc Van Gool},
journal= {arXiv preprint arXiv:1708.07819},
year = {2019}
}
备注
Accepted manuscript, 21 pages. The datasets, models and code have been made publicly available