CONet：面向卷积神经网络的通道优化
计算机视觉与模式识别
2022-04-11 v2 机器学习
神经与进化计算
摘要
神经架构搜索（NAS）已将网络设计从依赖人类直觉转向由评估指标引导的搜索算法。我们研究了卷积神经网络（CNN）中的通道尺寸优化，并明确了其在模型精度与复杂度方面的作用。当前的通道尺寸选择方法通常受限于离散样本空间，且存在手动迭代与简单启发式的问题。为此，我们引入一种高效的动态缩放算法——CONet——可为给定 CNN 自动优化各网络层的通道尺寸。我们提出两个度量——“Rank”与“Rank Average Slope”——以识别训练中所累积的信息。该算法在固定的搜索阶段内动态地将通道尺寸放大或缩小。我们在 CIFAR10/100 与 ImageNet 数据集上开展实验，表明 CONet 能在 ResNet、DARTS 与 DARTS+ 空间中找到高效且精确的架构，其性能优于各自的基线模型。本文档替代此前发表于 ICCV2021-NeurArch 研讨会的论文，并新增一节关于 CNN 中通道尺寸手动缩放的内容，以数值验证搜索 CNN 最优通道配置所用度量。
引用
@article{arxiv.2108.06822,
title = {CONet: Channel Optimization for Convolutional Neural Networks},
author = {Mahdi S. Hosseini and Jia Shu Zhang and Zhe Liu and Andre Fu and Jingxuan Su and Mathieu Tuli and Sepehr Hosseini and Arsh Kadakia and Haoran Wang and Konstantinos N. Plataniotis},
journal= {arXiv preprint arXiv:2108.06822},
year = {2022}
}