高效渐进式神经架构搜索
计算机视觉与模式识别
2018-08-02 v1
摘要
本文解决为给定图像分类任务寻找最优神经架构设计这一难题。我们提出一种方法，汇总了先前神经架构搜索最优方法的两项主要结果：一是借助基于序贯模型优化（SMBO）的搜索方案所具有的强采样效率，二是通过共享采样架构间的权重来提升训练效率。序贯搜索此前已展现其为图像分类寻找最优神经架构的能力。然而，即便在中等计算条件下，其计算代价仍然高昂，甚至难以承受。使 SMBO 具备权重共享可缓解此问题。另一方面，基于 SMBO 的渐进式搜索本质上是贪婪的，因其利用习得的代理函数预测神经架构的验证误差。该预测被直接用于对采样神经架构排序。我们提议弱化代理函数的作用以缓解原 SMBO 方法的贪婪性，使其转而预测架构采样概率。我们在 CIFAR-10 数据集上的实验表明，我们的方法（称为高效渐进式神经架构搜索，EPNAS）在保持所发现架构竞争力的同时，提升了搜索效率。
引用
@article{arxiv.1808.00391,
title = {Efficient Progressive Neural Architecture Search},
author = {Juan-Manuel Perez-Rua and Moez Baccouche and Stephane Pateux},
journal= {arXiv preprint arXiv:1808.00391},
year = {2018}
}
备注
Accepted for publication by the BMVA (BMVC 2018)