用于神经架构搜索的引导式进化方法
机器学习
2021-10-29 v1 人工智能
计算机视觉与模式识别
机器学习
摘要
神经架构搜索(NAS)方法已成功应用于图像任务并取得优异结果。然而，NAS 方法通常复杂，且一旦生成的架构看似表现良好便易收敛至局部极小。本文提出 G-EA，一种用于引导式进化 NAS 的新方法。G-EA 的核心理念是在初始化阶段利用零代理估计器每代生成并评估若干架构，仅训练得分最高的网络并保留至下一代。该初始化阶段评估可在不增加计算量的情况下持续从搜索空间提取知识，从而高效引导搜索。此外，G-EA 通过子代生成强制利用最具性能的网络，同时通过父代变异以及偏好较新架构而非较旧架构来强制探索。实验结果表明了所提方法的有效性，显示 G-EA 在 NAS-Bench-201 搜索空间的 CIFAR-10、CIFAR-100 与 ImageNet16-120 上取得最先进结果，平均准确率分别为 93.98%、72.12% 与 45.94%。
引用
@article{arxiv.2110.15232,
title = {Guided Evolution for Neural Architecture Search},
author = {Vasco Lopes and Miguel Santos and Bruno Degardin and Luís A. Alexandre},
journal= {arXiv preprint arXiv:2110.15232},
year = {2021}
}
备注
Paper accepted at 35th Conference on Neural Information Processing Systems (NeurIPS) - New In ML. 9 pages, 2 figures, 1 table