BNAS：一种基于宽泛可扩展架构的高效神经架构搜索方法
机器学习
2021-03-17 v5 机器学习
摘要
本文提出宽泛神经架构搜索（BNAS），其中我们精心设计了称为宽泛卷积神经网络（BCNN）的宽泛可扩展架构以解决上述问题。一方面，所提宽泛可扩展架构因其浅层拓扑而具有快速训练速度。此外，我们还采用ENAS中使用的强化学习与参数共享作为BNAS的优化策略。因此，所提方法可实现更高的搜索效率。另一方面，宽泛可扩展架构提取多尺度特征与增强表示，并将其送入全局平均池化层以产生更合理且全面的表示。因此，宽泛可扩展架构的性能得以保证。特别地，我们还为BNAS开发了两种修改BCNN拓扑的变体。为验证BNAS的有效性，进行了若干实验，实验结果表明：1）BNAS耗时0.19天，比基于强化学习的NAS方法中表现最佳的ENAS少2.37倍；2）与小规模（50万参数）和中规模（110万参数）模型相比，BNAS习得的架构在CIFAR-10上取得最先进性能（3.58%和3.24%测试误差）；3）习得的架构在ImageNet上仅用390万参数即达到25.3%的top-1误差。
引用
@article{arxiv.2001.06679,
title = {BNAS:An Efficient Neural Architecture Search Approach Using Broad Scalable Architecture},
author = {Zixiang Ding and Yaran Chen and Nannan Li and Dongbin Zhao and Zhiquan Sun and C. L. Philip Chen},
journal= {arXiv preprint arXiv:2001.06679},
year = {2021}
}
备注
15 pages, 12 figures, 5 tables