基于梯度引导的参数掩码用于恶劣天气下的多场景图像修复
计算机视觉与模式识别
2024-11-27 v1 人工智能
机器人学
摘要
从图像中去除雨、雨滴和雪等恶劣天气条件对于自动驾驶、监视和遥感等实际应用至关重要。然而，现有多任务方法通常通过增加额外参数来处理多个场景。虽然这使模型能够处理多样化的任务，但引入额外参数显著复杂化了实际部署。在本文中，我们提出一种名为 Gradient-Guided Parameter Mask 的新颖方法，用于恶劣天气下的多场景图像修复，以无需额外参数的方式有效处理各种天气条件下的图像退化。我们的 метод 将模型参数分为 common 和 specific 组件，通过评估训练期间每个特定天气条件的梯度变化强度来实现此目的。这使模型能够精确且自适应地学习每个天气情境的相关特征，在不损害性能的前提下提高了效率和效果。该方法基于梯度波动构建特定掩码，以隔离受其他任务影响的参数，确保模型在所有情境下均取得优异性能。我们通过在多个基准数据集上的大量实验展示了该框架的 state-of-the-art 性能。具体而言，本方法在 Raindrop 数据集上获得 PSNR 为 29.22，在 Rain 数据集上获得 30.76，在 Snow100K 数据集上获得 29.56。代码可在 https://github.com/AierLab/MultiTask 获取。
引用
@article{arxiv.2411.16739,
title = {Gradient-Guided Parameter Mask for Multi-Scenario Image Restoration Under Adverse Weather},
author = {Jilong Guo and Haobo Yang and Mo Zhou and Xinyu Zhang},
journal= {arXiv preprint arXiv:2411.16739},
year = {2024}
}