基于一次性模型演化神经架构
神经与进化计算
2020-12-24 v1 人工智能
摘要
神经架构搜索（NAS）正成为一个新的研究方向，有潜力替代为特定任务手工设计的神经架构。先前基于演化的架构搜索需要大量计算资源，导致搜索时间很长。在这项工作中，我们提出一种将简单遗传算法应用于 NAS 问题的新方法，称为 EvNAS（基于一次性模型演化神经架构），它显著减少了搜索时间，同时仍比先前基于演化的方法取得更好的结果。架构通过使用一次性模型的架构参数表示，这导致给定架构种群中架构之间的权值共享，以及从一代架构到下一代架构的权值继承。我们提出了一种用于架构参数的解码技术，该技术用于将大部分梯度信息导向给定架构，并用于在搜索过程中改进一次性模型对给定架构的性能预测。此外，我们使用部分训练的架构在验证数据上的准确率作为其适应度的预测，以减少搜索时间。EvNAS 在代理数据集即 CIFAR-10 上以单 GPU 搜索架构 4.4 GPU 天，以 3.63M 参数取得 2.47% 的 top-1 测试误差，随后迁移到 CIFAR-100 和 ImageNet，分别取得 16.37% 的 top-1 误差和 7.4% 的 top-5 误差。所有这些结果展示了演化方法在解决架构搜索问题中的潜力。
引用
@article{arxiv.2012.12540,
title = {Evolving Neural Architecture Using One Shot Model},
author = {Nilotpal Sinha and Kuan-Wen Chen},
journal= {arXiv preprint arXiv:2012.12540},
year = {2020}
}