基于合成与真实数据的课程式模型自适应用于雾天语义场景理解
计算机视觉与模式识别
2019-05-02 v2
摘要
本文研究雾天条件下的语义场景理解问题。尽管语义场景理解已取得显著进展，但主要集中于晴好天气场景。将语义分割方法推广至雾等恶劣气候条件对于户外应用至关重要。本文提出一种称为课程式模型自适应（CMAda）的新方法，利用带标签的合成雾图与无标签的真实雾图，以多步方式将语义分割模型从轻度合成雾逐步自适应到浓密真实雾。该方法基于如下事实：在中等恶劣条件（轻雾）下的语义分割结果可用于引导解决高度恶劣条件（浓雾）下的同一问题。CMAda 可扩展至其他恶劣条件，并为利用合成数据与无标签真实数据学习提供了新范式。此外，我们给出另外三项主要独立贡献：1）一种利用语义输入向真实晴好天气场景添加合成雾的新方法；2）一种新的雾密度估计器；3）一种无需深度信息即可对真实雾景进行增雾的新雾浓化方法；以及 4）包含 3808 张真实雾图、其中 40 张浓雾图像具像素级语义标注的 Foggy Zurich 数据集。实验表明：1）我们的雾模拟与雾密度估计器在雾天语义场景理解（SFSU）任务上优于相应的 SOTA 方法；2）CMAda 借助我们的合成与真实雾数据显著提升了 SOTA 模型在 SFSU 上的性能。数据集与代码已在项目网站提供。
引用
@article{arxiv.1901.01415,
title = {Curriculum Model Adaptation with Synthetic and Real Data for Semantic Foggy Scene Understanding},
author = {Dengxin Dai and Christos Sakaridis and Simon Hecker and Luc Van Gool},
journal= {arXiv preprint arXiv:1901.01415},
year = {2019}
}
备注
accepted by IJCV (22 pages), an extension of arXiv:1808.01265 our eccv18 paper