语言驱动的一体化恶劣天气去除
计算机视觉与模式识别
2023-12-05 v1
摘要
一体化框架利用单组网络联合恢复各种恶劣天气退化。为了处理各种天气条件，一体化框架应能够自适应地学习针对不同退化的特定天气知识以及针对共同模式的共享知识。然而，现有方法：1）依赖额外的监督信号，这在实际应用中通常是未知的；2）采用固定的网络结构，限制了特定天气知识的多样性。在本文中，我们提出了一种语言驱动恢复框架（LDR）以缓解上述问题。首先，我们利用预训练视觉语言（PVL）模型的能力，通过推理退化的发生、类型和严重程度，生成基于描述的退化先验，从而丰富特定天气知识的多样性。然后，在退化先验的引导下，我们基于混合专家结构从候选列表中动态稀疏地选择恢复专家。这使我们能够自适应地学习特定天气知识和共享知识，以处理各种天气条件（例如，未知或混合天气）。在广泛恢复场景上的实验展示了我们优越的性能（见图 1）。源代码将予以公开。
引用
@article{arxiv.2312.01381,
title = {Language-driven All-in-one Adverse Weather Removal},
author = {Hao Yang and Liyuan Pan and Yan Yang and Wei Liang},
journal= {arXiv preprint arXiv:2312.01381},
year = {2023}
}