神经架构搜索中的随机搜索与可复现性
机器学习
2019-08-01 v3 机器学习
摘要
神经架构搜索(NAS)是一个有前景的研究方向,有望用学习得到的、针对特定任务的架构取代专家设计的网络。在这项工作中,为了帮助夯实该领域的实证结果,我们提出了建立在以下观察之上的新 NAS 基线:(i) NAS 是一个专门的超参数优化问题;以及 (ii) 随机搜索是超参数优化的一个有竞争力的基线。利用这些观察,我们在两个标准 NAS 基准——PTB 和 CIFAR-10——上评估了带早停的随机搜索以及一种新颖的带权重共享的随机搜索算法。我们的结果表明,带早停的随机搜索是一个有竞争力的 NAS 基线,例如,它在两个基准上的表现至少与领先的 NAS 方法 ENAS 一样好。此外,带权重共享的随机搜索优于带早停的随机搜索,在 PTB 上取得了 state-of-the-art 的 NAS 结果,在 CIFAR-10 上取得了极具竞争力的结果。最后,我们探讨了已发表 NAS 结果中存在的可复现性问题。我们注意到缺乏精确复现这些结果所需的源材料,并进一步讨论了在 NAS 实验设置的各种可变来源下已发表结果的鲁棒性。相关地,我们提供了精确复现我们结果所需的全部信息(代码、随机种子、文档),并报告了我们在多个运行下每个基准的带权重共享随机搜索结果。
引用
@article{arxiv.1902.07638,
title = {Random Search and Reproducibility for Neural Architecture Search},
author = {Liam Li and Ameet Talwalkar},
journal= {arXiv preprint arXiv:1902.07638},
year = {2019}
}
备注
V2 Changelog: - Modified footnote 2 for ENAS. - Expanded broad reproducibility study for random search with WS for CNN to 6 sets of random seeds v3 Changelog: - Added journal reference - Updated acknowledgements