基于非对称与不确定性感知 GAN 的恶劣天气图像转换
计算机视觉与模式识别
2022-02-16 v3 图形学
摘要
恶劣天气图像转换属于无监督图像到图像（I2I）转换任务，旨在将恶劣条件域（如雨夜）转换到标准域（如白天）。这是一项具有挑战性的任务，因为来自恶劣域的图像存在一些伪影和信息不足。近期，许多采用生成对抗网络（GAN）的研究在 I2I 转换中取得了显著成功，但在应用于恶劣天气增强时仍存在局限性。基于双向循环一致性损失的对称架构被用作无监督域转换方法的标准框架。然而，如果两个域的信息不平衡，它可能导致较差的转换结果。为解决此问题，我们提出了一种新颖的 GAN 模型，即 AU-GAN，它具有用于恶劣域转换的非对称架构。我们仅在正常域生成器（即雨夜->白天）中插入一个提出的特征迁移网络（-net），以增强恶劣域图像的编码特征。此外，我们引入非对称特征匹配以实现编码特征的解耦。最后，我们提出不确定性感知循环一致性损失，以解决循环重建图像的区域不确定性问题。我们通过与最先进模型的定性和定量比较，证明了我们方法的有效性。代码可在 https://github.com/jgkwak95/AU-GAN 获取。
引用
@article{arxiv.2112.04283,
title = {Adverse Weather Image Translation with Asymmetric and Uncertainty-aware GAN},
author = {Jeong-gi Kwak and Youngsaeng Jin and Yuanming Li and Dongsik Yoon and Donghyeon Kim and Hanseok Ko},
journal= {arXiv preprint arXiv:2112.04283},
year = {2022}
}
备注
BMVC 2021, codes are available in here: https://github.com/jgkwak95/AU-GAN