VBLC:面向恶劣条件下域自适应语义分割的可见性增强与对数约束学习
计算机视觉与模式识别
2022-11-23 v1
摘要
将在正常视觉条件下训练的模型推广到恶劣条件下的目标域在实际系统中需求迫切。一种普遍的解决方案是弥合清晰图像与恶劣条件图像之间的域差距,以在目标上做出满意预测。然而,先前方法通常依赖从正常条件下拍摄的同一场景的额外参考图像,这在实际中极难收集。此外,它们大多聚焦于单一恶劣条件如夜间或雾天,削弱了模型在遇到其他恶劣天气时的通用性。为克服上述局限,我们提出一种新颖框架,即可见性增强与对数约束学习(VBLC),专为优异的正常到恶劣自适应而设计。VBLC探索了摆脱参考图像并同时解决混合恶劣条件的潜力。具体而言,我们首先提出可见性增强模块,通过图像层面的特定先验动态改善目标图像。然后,我们指出了常规交叉熵损失在自训练方法中的过度自信缺陷,并设计了对数约束学习,其在训练期间对对数输出施加约束以缓解此痛点。据我们所知,这是应对此类挑战性任务的新视角。在两个正常到恶劣域自适应基准即Cityscapes -> ACDC和Cityscapes -> FoggyCityscapes + RainCityscapes上的大量实验验证了VBLC的有效性,其确立了新的最先进水平。代码见https://github.com/BIT-DA/VBLC。
引用
@article{arxiv.2211.12256,
title = {VBLC: Visibility Boosting and Logit-Constraint Learning for Domain Adaptive Semantic Segmentation under Adverse Conditions},
author = {Mingjia Li and Binhui Xie and Shuang Li and Chi Harold Liu and Xinjing Cheng},
journal= {arXiv preprint arXiv:2211.12256},
year = {2022}
}
备注
Camera ready for AAAI 2023. Code is available at https://github.com/BIT-DA/VBLC