用于单图像去雨的在线更新高阶协同网络

单图像去雨对于视频监控和自动驾驶系统等下游人工智能应用是一项重要且具有挑战性的任务。现有大多数基于深度学习的方法约束网络生成去雨图像，但很少从中层、不同层级和不同模块探索有益于去除雨纹的特征。本文中，我们提出一种具有多尺度紧凑约束和双向尺度-内容相似性挖掘模块的高阶协同网络，从深度网络外部和内部利用特征以去除雨纹。在外部，我们设计了一个由三个子网络以协同方式训练的去雨框架，其中底层网络将中间特征传给中间网络，中间网络同时接收来自顶层网络的较浅雨图特征并向底层网络回传特征。在内部，我们对深度网络的中间层施加多尺度紧凑约束，通过拉普拉斯金字塔学习有用特征。此外，我们开发了双向尺度-内容相似性挖掘模块，以自顶向下和自底向上的方式探索不同尺度的特征。为提升模型在真实图像上的性能，我们提出一种在线更新学习方法，利用真实世界雨图以自监督方式微调网络并更新去雨结果。大量实验表明，我们的方法在五个公开合成数据集和一个真实世界数据集上优于十一种最先进的方法。源代码将发布于\url{https://supercong94.wixsite.com/supercong94}。