Weather GAN：基于生成对抗网络的多域天气转换
计算机视觉与模式识别
2021-03-10 v1
摘要
本文提出了一项新任务，即天气转换，指将图像的天气条件从一类转换到另一类。它对摄影风格迁移十分重要。尽管传统图像转换任务中已提出大量方法，但极少能处理多类别天气转换任务，因为天气条件类别丰富且语义结构高度复杂。为解决此问题，我们开发了基于生成对抗网络（GAN）的多域天气转换方法，记为 Weather GAN，可实现晴天、多云、雾天、雨天和雪天之间的天气条件迁移。具体而言，图像中的天气条件由各种天气线索决定，如云、蓝天、湿地等。因此，天气转换须将主要注意力集中于天气线索。为此，Weather GAN 的生成器由初始转换模块、注意力模块和天气线索分割模块组成。初始转换模块在生成过程中执行全局转换。天气线索分割模块识别天气线索的结构与精确分布。注意力模块学习聚焦于图像中感兴趣区域同时保持其他区域不变。最终生成结果由这三部分合成。该方法抑制了天气转换引起的失真与形变。大量实验与评估表明，我们的方法优于现有最优方法（SOTA）。
引用
@article{arxiv.2103.05422,
title = {Weather GAN: Multi-Domain Weather Translation Using Generative Adversarial Networks},
author = {Xuelong Li and Kai Kou and Bin Zhao},
journal= {arXiv preprint arXiv:2103.05422},
year = {2021}
}