TPSeNCE：面向无伪影真实雨图生成以用于去雨与雨天目标检测
计算机视觉与模式识别
2023-11-09 v3
摘要
雨图生成算法有潜力提升去雨方法的泛化能力以及雨天条件下的场景理解。然而在实践中，由于缺乏适当约束，它们会产生伪影与畸变，且难以控制所生成雨量。本文中，我们提出一种非配对图像到图像翻译框架用于生成真实雨图。我们首先引入三角概率相似度（TPS）约束，在判别器流形上将生成图像导向清晰图像与雨图，从而在雨图生成过程中最小化伪影与畸变。不同于传统对比学习方法中无差别地将负样本推离锚点，我们提出语义噪声对比估计（SeNCE）策略，并基于清晰图与雨图之间的语义相似度以及锚点与负样本之间的特征相似度，重新评估负样本的推力。实验表明本方法可生成具有最小伪影与畸变的真实雨图，有利于图像去雨与雨天目标检测。此外，该方法还可用于生成真实的雪天与夜间图像，凸显了其更广泛的适用性潜力。代码见 https://github.com/ShenZheng2000/TPSeNCE。
引用
@article{arxiv.2311.00660,
title = {TPSeNCE: Towards Artifact-Free Realistic Rain Generation for Deraining and Object Detection in Rain},
author = {Shen Zheng and Changjie Lu and Srinivasa G. Narasimhan},
journal= {arXiv preprint arXiv:2311.00660},
year = {2023}
}
备注
WACV 2024