基于协方差矩阵适应进化策略的神经架构搜索
神经与进化计算
2021-07-16 v1
摘要
基于进化的神经架构搜索需要大量的计算资源，导致搜索时间长。在这项工作中，我们提出了一种将协方差矩阵适应进化策略（CMA-ES）应用于神经架构搜索问题的框架，称为 CMANAS，其取得了比先前基于进化的方法更好的结果，同时显著减少了搜索时间。架构使用正态分布建模，并根据采样种群的适应度通过 CMA-ES 进行更新。我们使用训练好的一次性模型（OSM）在验证数据上的准确率作为单个架构适应度的预测，以减少搜索时间。我们还使用了架构-适应度表（AF 表）来记录已评估的架构，从而进一步减少搜索时间。CMANAS 在单块 GPU 上以 0.45 GPU 天在 CIFAR-10 上完成了架构搜索，达到 97.44% 的 top-1 测试准确率，并以 0.6 GPU 天在 CIFAR-100 上达到 83.24% 的 top-1 测试准确率。在 CIFAR-10 和 CIFAR-100 上搜索得到的最优架构随后迁移到 ImageNet，分别取得了 92.6% 和 92.1% 的 top-5 准确率。
引用
@article{arxiv.2107.07266,
title = {Neural Architecture Search using Covariance Matrix Adaptation Evolution Strategy},
author = {Nilotpal Sinha and Kuan-Wen Chen},
journal= {arXiv preprint arXiv:2107.07266},
year = {2021}
}
备注
Under review (Submitted to IEEE Transactions on Evolutionary Computation)