PRE-NAS：预测器辅助的进化神经架构搜索
计算机视觉与模式识别
2022-04-28 v1
摘要
神经架构搜索（NAS）旨在自动化神经网络中的架构工程。这通常需要高昂的计算开销，以在搜索过程中评估搜索空间中所有可能网络集合中的大量候选网络。预测网络性能可以通过减少评估每个候选网络的需求来缓解这种高计算开销。开发这样的预测器通常需要大量已评估的架构，这可能难以获得。我们通过提出一种新颖的基于进化的NAS策略——预测器辅助的E-NAS（PRE-NAS）来应对这一挑战，该策略即使在已评估架构数量极少的情况下也能表现良好。PRE-NAS利用新的进化搜索策略，并整合了跨代的高保真度权重继承。与可能因权重共享而在评估中产生偏差的单次策略不同，PRE-NAS中的后代候选架构在拓扑上是同质的，这规避了偏差并导致更准确的预测。在NAS-Bench-201和DARTS搜索空间上的广泛实验表明，PRE-NAS可以超越最先进的NAS方法。仅使用单个GPU搜索0.6天，PRE-NAS就能找到具有竞争力的架构，在CIFAR-10和ImageNet上分别实现了2.40%和24%的测试错误率。
引用
@article{arxiv.2204.12726,
title = {PRE-NAS: Predictor-assisted Evolutionary Neural Architecture Search},
author = {Yameng Peng and Andy Song and Vic Ciesielski and Haytham M. Fayek and Xiaojun Chang},
journal= {arXiv preprint arXiv:2204.12726},
year = {2022}
}
备注
Accepted by GECCO 2022