用于图像复原的内存高效分层神经架构搜索
计算机视觉与模式识别
2021-10-12 v3
摘要
近来，神经架构搜索（NAS）备受关注，旨在在高层次视觉识别任务上超越那些手工设计的神经架构。受此成功启发，此处我们尝试利用 NAS 技术自动设计用于低层图像复原任务的高效网络架构。特别地，我们提出了一种内存高效的分层 NAS（称为 HiNAS），并将其应用于两个此类任务：图像去噪和图像超分辨率。HiNAS 采用基于梯度的搜索策略并构建灵活的分层搜索空间，包括内部搜索空间和外部搜索空间。它们分别负责设计单元架构和决定单元宽度。对于内部搜索空间，我们提出了一种逐层架构共享策略（LWAS），从而产生更灵活的架构和更好的性能。对于外部搜索空间，我们设计了一种单元共享策略以节省内存，并大幅加速搜索速度。所提出的 HiNAS 方法在内存和计算上均高效。使用单块 GTX1080Ti GPU，在 BSD-500 数据集上搜索去噪网络仅需约 1 小时，在 DIV2K 数据集上搜索超分辨率结构仅需 3.5 小时。实验表明，HiNAS 发现的架构具有更少的参数和更快的推理速度，同时与最先进方法相比实现了极具竞争力的性能。代码见：https://github.com/hkzhang91/HiNAS
引用
@article{arxiv.2012.13212,
title = {Memory-Efficient Hierarchical Neural Architecture Search for Image Restoration},
author = {Haokui Zhang and Ying Li and Hao Chen and Chengrong Gong and Zongwen Bai and Chunhua Shen},
journal= {arXiv preprint arXiv:2012.13212},
year = {2021}
}
备注
23 pages. Updated experiments and Fixed presentation issues. This is the journal version of arXiv:1909.08228; Code is available at: https://github.com/hkzhang91/HiNAS