堆叠 BNAS：重新思考用于神经架构搜索的广度卷积神经网络
计算机视觉与模式识别
2022-08-02 v4
摘要
与其他基于深度可扩展架构的 NAS 方法不同，广度神经架构搜索（BNAS）提出了一种由卷积和增强块组成的广度可扩展架构，称为广度卷积神经网络（BCNN），作为搜索空间以实现惊人的效率提升。BCNN 重用卷积块中细胞的拓扑，使得 BNAS 能够使用少量细胞进行高效搜索。此外，提出了多尺度特征融合和知识嵌入，以通过浅层拓扑提升 BCNN 的性能。然而，BNAS 存在一些缺陷：1）特征融合与增强的表示多样性不足；2）人类专家设计知识嵌入耗时。本文提出堆叠 BNAS，其搜索空间为一种称为堆叠 BCNN 的改进的广度可扩展架构，性能优于 BNAS。一方面，堆叠 BCNN 将迷你 BCNN 作为基本块，以保留全面表示并提供强大的特征提取能力。对于多尺度特征增强，每个迷你 BCNN 将深度和广度细胞的输出馈入增强细胞。对于多尺度特征融合，每个迷你 BCNN 将深度、广度和增强细胞的输出馈入输出节点。另一方面，提出知识嵌入搜索（KES）以可微分方式学习合适的知识嵌入。此外，KES 的基本单元是一个过参数化知识嵌入模块，由所有可能候选知识嵌入组成。实验结果表明：1）堆叠 BNAS 在 CIFAR-10 和 ImageNet 上均取得优于 BNAS-v2 的性能；2）所提 KES 算法有助于在满意性能下减少所学架构的参数；3）堆叠 BNAS 达到了 0.02 GPU 天的当前最优效率。
引用
@article{arxiv.2111.07722,
title = {Stacked BNAS: Rethinking Broad Convolutional Neural Network for Neural Architecture Search},
author = {Zixiang Ding and Yaran Chen and Nannan Li and Dongbin Zhao and C. L. Philip Chen},
journal= {arXiv preprint arXiv:2111.07722},
year = {2022}
}
备注
12 pages, 10 figures, 5 tables