Mutual-GAN：基于互信息约束的无监督跨天气自适应方法
计算机视觉与模式识别
2021-07-01 v1 人工智能
摘要
卷积神经网络（CNN）已在语义分割中证明其成功，而语义分割是自动驾驶等新兴工业应用的核心任务。然而，大多数关于城市场景语义分割的进展报道于标准场景，即具有良好光照条件的白天场景。在实际应用中，户外天气与光照多变，例如阴天与夜间，这导致仅用白天数据训练的CNN语义分割精度显著下降。本文提出一种新颖的生成对抗网络（即Mutual-GAN），以缓解白天训练的神经网络应用于恶劣天气条件下所捕获视频时的精度下降。所提Mutual-GAN采用互信息约束以在跨天气自适应过程中保留图像物体，这是大多数无监督图像到图像翻译方法（如CycleGAN）未解决的问题。所提Mutual-GAN在两个公开驾驶视频数据集（即CamVid和SYNTHIA）上进行了评估。实验结果表明，我们的Mutual-GAN能够生成视觉上可信的翻译图像，并显著提升白天训练深度学习网络在处理挑战性天气下视频时的语义分割精度。
引用
@article{arxiv.2106.16000,
title = {Mutual-GAN: Towards Unsupervised Cross-Weather Adaptation with Mutual Information Constraint},
author = {Jiawei Chen and Yuexiang Li and Kai Ma and Yefeng Zheng},
journal= {arXiv preprint arXiv:2106.16000},
year = {2021}
}
备注
An extension of our MICCAI paper