CONetV2：面向 CNN 的高效自动通道尺寸优化
计算机视觉与模式识别
2021-10-14 v1 人工智能
摘要
神经架构搜索（NAS）在寻找卷积神经网络（CNN）的最优网络配置方面发挥了关键作用。尽管许多方法从全局搜索空间的角度探索 NAS，但所采用的优化方案通常需要大量的计算资源。本工作提出了一种在计算受限环境中高效的方法，通过考察通道尺寸的微搜索空间来实现。在处理通道尺寸优化时，我们设计了一种自动算法来提取网络不同连接层之间的依赖关系。此外，我们引入了知识蒸馏的思想，使得在通道尺寸变化的试验过程中能够保留已训练的权重。进一步，由于标准性能指标（准确率、损失）无法捕捉单个网络组件的性能（仅提供整体网络评估），我们引入了一种与测试准确率高度相关并能分析单个网络层的新指标。结合依赖提取、指标和知识蒸馏，我们提出了一种具有模拟退火启发随机性的高效搜索算法，并证明了其在寻找优于基线一大截的最优架构方面的有效性。
引用
@article{arxiv.2110.06830,
title = {CONetV2: Efficient Auto-Channel Size Optimization for CNNs},
author = {Yi Ru Wang and Samir Khaki and Weihang Zheng and Mahdi S. Hosseini and Konstantinos N. Plataniotis},
journal= {arXiv preprint arXiv:2110.06830},
year = {2021}
}