通过多保真度评估加速进化神经架构搜索
人工智能
2021-08-11 v1
摘要
进化神经架构搜索（ENAS）通过有效寻找高质量神经架构而受到越来越多的关注，但其在个体评估中为每个个体编码的架构训练完整轮次，消耗了高昂的计算成本。许多ENAS方法已被开发用于降低评估成本，但其中大多数方法难以实现高评估精度。为解决此问题，本文提出了一种通过多保真度评估加速的ENAS方法，称为MFENAS，其中每个个体编码的架构仅训练少量轮次，从而显著降低个体评估成本。通过提出多保真度评估，该方法整合了不同训练轮次下的多次评估，识别出那些无法从前代存活的潜在优秀个体，从而很好地平衡了评估成本与评估精度。为获得高多样性的神经架构，设计了一种种群初始化策略，以生成从类似ResNet到类似Inception的不同神经架构。在CIFAR-10上的实验结果表明，所提MFENAS获得的架构在仅使用0.6 GPU天（一块NVIDIA 2080TI GPU）的成本下实现了2.39%的测试错误率，证明了MFENAS在计算成本和架构质量方面均优于最先进的NAS方法。随后将MFENAS获得的架构迁移到CIFAR-100和ImageNet，其性能也与现有NAS方法获得的架构具有竞争力。所提MFENAS的源代码已开源：https://github.com/DevilYangS/MFENAS/。
引用
@article{arxiv.2108.04541,
title = {Accelerating Evolutionary Neural Architecture Search via Multi-Fidelity Evaluation},
author = {Shangshang Yang and Ye Tian and Xiaoshu Xiang and Shichen Peng and Xingyi Zhang},
journal= {arXiv preprint arXiv:2108.04541},
year = {2021}
}
备注
15 pages, 11 figures