用于高效单图像超分辨率的三级神经架构搜索
计算机视觉与模式识别
2021-04-26 v2 机器学习
图像与视频处理
摘要
使用深度神经网络的单图像超分辨率（SISR）问题的现代解法不仅追求更高的性能精度，也追求更轻量且计算高效的模型。为此，近期神经架构搜索（NAS）方法已展现出巨大潜力。遵循同一思路，本文提出一种新颖的三级 NAS 方法，在解决 SISR 时于不同效率指标与性能间提供更好平衡。与现有 NAS 不同，我们的搜索更为完整，从而得到一个高效、优化且压缩的架构。我们创新性地引入三级搜索空间建模，即网络级、单元级和核级结构的层次化建模。为使三级空间上的搜索可微且高效，我们利用一种新颖的 sparsestmax 技术，该技术擅长生成各神经架构候选的稀疏分布，从而可从扩大的搜索空间中更好地解耦以进行最终选择。我们进一步将排序技术引入 sparsestmax 松弛以实现更好的网络级压缩。所提出的 NAS 优化还支持在单一阶段内同时搜索与训练，减少搜索与训练时间。在基准数据集上的综合评估表明，我们的方法在模型大小、性能与效率的良好权衡方面明显优于最先进的 NAS。
引用
@article{arxiv.2101.06658,
title = {Trilevel Neural Architecture Search for Efficient Single Image Super-Resolution},
author = {Yan Wu and Zhiwu Huang and Suryansh Kumar and Rhea Sanjay Sukthanker and Radu Timofte and Luc Van Gool},
journal= {arXiv preprint arXiv:2101.06658},
year = {2021}
}