AWRaCLe：利用视觉上下文学习进行全天气图像复原

在恶劣天气条件下的全天气图像复原（AWIR）是一项具有挑战性的任务，因为存在不同类型的退化。该领域的先前研究依赖于大量的训练数据，但缺乏利用额外的上下文信息来指导复原过程。因此，现有方法的性能受到从单个训练样本中学习到的退化线索的限制。视觉上下文学习的最新进展引入了通才模型，这些模型能够通过使用提供的上下文中的信息作为先验，同时处理多个计算机视觉任务。在本文中，我们提出了利用视觉上下文学习进行全天气图像复原（AWRaCLe），这是一种新颖的 AWIR 方法，创新性地利用退化特定的视觉上下文信息来引导图像复原过程。为此，AWRaCLe 融合了退化上下文提取（DCE）和上下文融合（CF）模块，将来自上下文的退化特定特征无缝集成到图像复原网络中。所提出的 DCE 和 CF 模块利用 CLIP 特征并融合注意力机制，以熟练地学习和融合上下文信息。这些模块专为全天气条件下的视觉上下文学习而设计，对于有效的上下文利用至关重要。通过大量实验，我们证明了 AWRaCLe 在全天气复原中的有效性，并表明我们的方法推进了 AWIR 领域的最新技术水平。