基于神经架构搜索的多尺度注意力图像去雨网络
计算机视觉与模式识别
2023-04-05 v3 人工智能
摘要
多尺度架构和注意力模块已在许多基于深度学习的图像去雨方法中展现出有效性。然而,手动设计并将这些组件集成到神经网络中需要大量人力和深厚专业知识。本文从技术上开发了一种用于图像去雨的高性能多尺度注意力神经架构搜索(MANAS)框架。所提方法构建了一个新的多尺度注意力搜索空间,其中包含多个对图像去雨任务有利灵活模块。在该搜索空间下,构建多尺度注意力单元,并进一步用于构造强大的图像去雨网络。去雨网络的内部多尺度注意力架构通过基于梯度的搜索算法自动搜索,在一定程度上避免了繁琐的手动设计过程。此外,为获得鲁棒的图像去雨模型,还提出了一种实用有效的多对一训练策略,使去雨网络能从具有相同背景场景的多张雨图中获取充分的背景信息;同时联合优化包括外部损失、内部损失、架构正则化损失和模型复杂度损失在内的多个损失函数,以实现鲁棒去雨性能与可控模型复杂度。在合成与真实雨图以及下游视觉应用(即目标检测与分割)上的大量实验结果一致证明了我们所提方法的优越性。代码已公开于https://github.com/lcai-gz/MANAS。
引用
@article{arxiv.2207.00728,
title = {Multi-scale Attentive Image De-raining Networks via Neural Architecture Search},
author = {Lei Cai and Yuli Fu and Wanliang Huo and Youjun Xiang and Tao Zhu and Ying Zhang and Huanqiang Zeng and Delu Zeng},
journal= {arXiv preprint arXiv:2207.00728},
year = {2023}
}