面向 DARTS 搜索空间的伪反瓶颈卷积
机器学习
2023-03-21 v3 图像与视频处理
摘要
可微架构搜索（Differentiable Architecture Search, DARTS）作为一种基于梯度的神经架构搜索方法已引起广泛关注。自 DARTS 提出以来，基于 CNN 的先进架构设计原则来调整其动作空间的工作甚少。本文旨在通过以 ConvNeXt 启发的微观设计改动逐步扩充 DARTS 搜索空间，并研究准确率、评估层数与计算成本之间的权衡，以弥补这一不足。我们引入了伪反瓶颈卷积（Pseudo-Inverted Bottleneck Conv, PIBConv）模块，旨在缩减 ConvNeXt 中提出的反瓶颈块的计算占用。我们所提架构对评估层数敏感度大幅降低，并且在层数少至 2 时，即以相似规模显著优于 DARTS 网络。此外，在更少层数下，它不仅以更低的计算占用（以 GMACs 衡量）和参数量取得更高准确率，GradCAM 对比显示我们的网络相比 DARTS 能更好地检测目标物体的区分性特征。代码可从 https://github.com/mahdihosseini/PIBConv 获取。
引用
@article{arxiv.2301.01286,
title = {Pseudo-Inverted Bottleneck Convolution for DARTS Search Space},
author = {Arash Ahmadian and Louis S. P. Liu and Yue Fei and Konstantinos N. Plataniotis and Mahdi S. Hosseini},
journal= {arXiv preprint arXiv:2301.01286},
year = {2023}
}
备注
5 pages