用于视频去雨的三层级模型推导协作网络架构
图像与视频处理
2021-12-22 v1 计算机视觉与模式识别
摘要
视频去雨是户外视觉系统中的一个重要问题，已得到广泛研究。然而，通过聚合模型形式与数据分布来设计最优架构对视频去雨而言是一项挑战性任务。本文中，我们开发了一个模型引导的三层级优化框架，以推导具有协作优化与自动搜索机制的网络架构，称为三层级模型推导协作搜索（TMICS），用于处理各种视频雨况。特别地，为缓解现有方法无法覆盖各种雨纹分布的问题，我们首先设计了一个关于任务变量与超参数的超参数优化模型。基于所提优化模型，我们设计了一个用于视频去雨的协作结构。该结构包含主导网络架构（DNA）与伴随网络架构（CNA），并通过引入基于注意力的平均方案（AAS）进行协作。为更好地从视频中挖掘帧间信息，我们引入了一种宏观结构搜索方案，从光流模块（OFM）与时间分组模块（TGM）中搜索以助恢复潜在帧。此外，我们将可微神经架构搜索应用于任务特定操作的紧凑候选集，以自动发现理想的雨纹去除架构。在多个数据集上的大量实验表明，我们的模型在保真度与时间一致性上较 SOTA 工作有显著提升。源代码见 https://github.com/vis-opt-group/TMICS。
引用
@article{arxiv.2111.04459,
title = {Triple-level Model Inferred Collaborative Network Architecture for Video Deraining},
author = {Pan Mu and Zhu Liu and Yaohua Liu and Risheng Liu and Xin Fan},
journal= {arXiv preprint arXiv:2111.04459},
year = {2021}
}
备注
Accepted at IEEE Transactions on Image Processing