基于光谱的空间分组实现鲁棒恶劣天气去除

恶劣天气条件会导致多样且复杂的退化模式，推动了 All-in-One (AiO) 模型的发展。然而，由于频率域上的直接操作等全局滤波方法无法处理高度可变且局部的失真，近期的 AiO 解决方案在捕捉多样退化方面仍然存在困难。为了解决这些问题，我们提出了 Spectral-based Spatial Grouping Transformer (SSGformer)，这是一种利用光谱分解和分组注意力进行多天气图像恢复的新方法。SSGformer 使用常规边缘检测将图像分解为高频边缘特征，并通过奇异值分解获取低频信息。我们利用多头线性注意力来有效建模这些特征之间的关系。融合特征与输入相结合以生成分组掩码，该掩码基于空间相似性和图像纹理对区域进行聚类。为了充分利用该掩码，我们引入了分组注意力机制，实现了鲁棒的恶劣天气去除，并确保在各种天气条件下的一致性能。我们还提出了一个同时使用通道注意力和空间注意力的 Spatial Grouping Transformer Block，有效平衡了特征关系与空间依赖性。大量实验证明了我们方法的优越性，验证了其在处理多样且复杂的恶劣天气退化方面的有效性。