闭环：基于解耦图像翻译的联合雨生成与去除
图像与视频处理
2021-03-26 v1 计算机视觉与模式识别
摘要
现有基于深度学习的图像去雨方法在合成雨图上的性能令人满意，通常依赖于清晰图像与模拟雨图成对数据。然而，由于简化的合成雨与复杂真实雨之间的巨大差异，这些方法在面对真实雨时性能显著下降。本文认为雨的生成与去除是同一枚硬币的两面，应当紧密耦合。为闭合环路，我们提出在统一的解耦图像翻译框架内联合学习真实雨生成与去除过程。具体而言，我们提出一种双向解耦翻译网络，其中每个单向网络包含分别针对真实与合成雨图的雨生成与去除联合双环。同时，我们通过将雨图分解为干净背景与雨层（去雨）来实施解耦策略，以借助循环一致性损失与对抗损失更好地保留身份背景，并简化雨层在真实与合成雨图间的翻译。对应的含纠缠策略的组合被对称地用于雨生成。在合成与真实世界雨数据集上的大量实验显示了所提方法相对于 SOTA 的优越性。
引用
@article{arxiv.2103.13660,
title = {Closing the Loop: Joint Rain Generation and Removal via Disentangled Image Translation},
author = {Yuntong Ye and Yi Chang and Hanyu Zhou and Luxin Yan},
journal= {arXiv preprint arXiv:2103.13660},
year = {2021}
}
备注
10 pages, Accepted by 2021 CVPR