WM-MoE：基于天气感知多尺度混合专家网络的无先验恶劣天气去除方法
计算机视觉与模式识别
2024-04-05 v2
摘要
去雨、去雪和去雾等恶劣天气去除任务通常被视为独立任务。然而，在实际自动驾驶场景中，天气的类型、强度和混合程度未知，因此分别处理每个任务无法应对复杂的实际场景。本文研究盲恶劣天气去除问题。混合专家(Mixture-of-Experts, MoE)是一种流行的模型，采用可学习的门控将输入路由到不同的专家网络。MoE 的原理涉及使用自适应网络处理不同类型的未知输入，因此 MoE 在盲恶劣天气去除方面具有巨大潜力。然而，原始 MoE 模块不足以应对耦合的多种天气类型，且未能利用多尺度特征以提升性能。为此，我们提出一种基于 Transformer 的名为天气感知多尺度 MoE (Weather-aware Multi-scale MoE, WM-MoE) 的盲天气去除方法。WM-MoE 包含两个关键设计：天气感知路由器 (WEather-Aware Router, WEAR) 和多尺度专家 (Multi-Scale Experts, MSE)。WEAR 基于解耦的内容与天气特征为每个图像 token 分配专家，增强了模型处理多种恶劣天气的能力。为从图像中获取判别性天气特征，我们提出天气引导细粒度对比学习 (Weather Guidance Fine-grained Contrastive Learning, WGF-CL)，利用天气簇信息引导为每个图像 token 分配正负样本。由于处理不同天气类型需要不同的感受野，MSE 利用多尺度特征增强空间关系建模能力，促进不同天气类型与强度的高质量复原。我们的方法在两个公开数据集及我们自建的数据集上取得了盲恶劣天气去除的当前最优(state-of-the-art, SOTA)性能。我们还展示了我们的方法在下游分割任务上的优势。
引用
@article{arxiv.2303.13739,
title = {WM-MoE: Weather-aware Multi-scale Mixture-of-Experts for Blind Adverse Weather Removal},
author = {Yulin Luo and Rui Zhao and Xiaobao Wei and Jinwei Chen and Yijie Lu and Shenghao Xie and Tianyu Wang and Ruiqin Xiong and Ming Lu and Shanghang Zhang},
journal= {arXiv preprint arXiv:2303.13739},
year = {2024}
}