利用联合雨/细节感知表示消除复杂雨水

近期图像去雨的进展集中在混合多个包含不同雨型和背景的数据集上训练强大模型。然而，这种方法往往忽略了雨图之间的固有差异，导致次优结果。为克服这一局限，我们专注于通过挖掘同时包含雨和背景成分的有意义表示来处理各种雨图。利用这些表示作为指导性引导，我们提出了一种基于上下文的实例级调制（CoI-M）机制，能够高效地调制基于CNN或Transformer的模型。此外，我们设计了一种雨/细节感知对比学习策略，以帮助提取联合雨/细节感知表示。通过将CoI-M与雨/细节感知对比学习相结合，我们开发了CoIC，一种创新且强大的算法，专门用于在混合数据集上训练模型。此外，CoIC提供了对数据集关系建模的见解，定量评估了雨和细节对恢复的影响，并揭示了模型在不同输入下的不同行为。大量实验验证了CoIC在提升CNN和Transformer模型去雨能力方面的有效性。当包含真实世界数据集时，CoIC也显著增强了去雨能力。