结合任务 Transformer 与自适应 Mixup 策略的多天气图像恢复

当前恶劣天气去除领域的 SOTA 主要集中于单任务应用，例如去雨、去雾和去雪。然而，现实世界的天气条件通常由多种天气类型混合而成，且自动驾驶场景中的天气混合程度是未知的。在复杂多样的天气条件下，单一天气去除模型在从恶劣天气图像中生成清晰图像时常常面临挑战。因此，需要开发能够有效处理混合天气条件并提升自动驾驶场景中图像质量的多任务恶劣天气去除模型。本文引入了一种新颖的多任务恶劣天气去除模型，能够以自适应方式有效处理复杂天气条件。我们的模型包含一个天气任务序列生成器，使自注意力机制能够选择性地聚焦于不同天气类型特有的特征。为了解决大面积天气退化修复的挑战，我们引入快速傅里叶卷积（FFC）以增大感受野。此外，我们提出了一种自适应上采样技术，通过选择性保留相关信息来有效处理天气任务信息和底层图像特征。我们提出的模型在公开可用数据集上取得了 SOTA 性能。