FogAdapt：面向雾天图像语义分割的自监督域适应方法
计算机视觉与模式识别
2022-06-10 v3 机器学习
摘要
本文提出FogAdapt，一种用于浓雾场景语义分割域适应的新方法。尽管已有大量研究致力于减小语义分割中的域偏移，但针对恶劣天气条件下场景的适应仍是一个开放问题。由于雾、烟霾和霾等天气条件导致的场景可见性大幅变化加剧了域偏移，从而使得此类场景中的无监督适应具有挑战性。我们提出一种自熵和多尺度信息增强的自监督域适应方法（FogAdapt），以最小化雾天场景分割中的域偏移。基于雾密度增加会导致分割概率自熵升高的经验证据，我们引入基于自熵的损失函数来引导适应方法。此外，在不同图像尺度上获得的推理结果被组合并由不确定性加权，以为目标域生成尺度不变的伪标签。这些尺度不变的伪标签对可见性和尺度变化具有鲁棒性。我们在真实晴朗天气场景到真实雾天场景的适应以及合成无雾图像到真实雾天场景的适应场景下评估所提出的模型。我们的实验表明，FogAdapt在雾天图像语义分割中显著优于当前最先进（SOTA）方法。具体而言，在相比于最先进（SOTA）方法的标准设定下，当从Cityscapes适应到Foggy Zurich时，FogAdapt在Foggy Zurich上提升3.8% mIoU，在Foggy Driving-dense上提升6.0%，在Foggy Driving上提升3.6%。
引用
@article{arxiv.2201.02588,
title = {FogAdapt: Self-Supervised Domain Adaptation for Semantic Segmentation of Foggy Images},
author = {Javed Iqbal and Rehan Hafiz and Mohsen Ali},
journal= {arXiv preprint arXiv:2201.02588},
year = {2022}
}
备注
Accepted at Elsevier Journal of Neurocomputing