高效新颖性驱动的神经架构搜索
机器学习
2019-07-23 v1 神经与进化计算
机器学习
摘要
一次性神经架构搜索（NAS）因能通过权重共享减少计算时长而近期广受关注。然而，近期若干工作的广泛实验表明，对于一次性 NAS，从超网继承权重所得的验证准确率与重训练后的测试准确率之间并无正相关。与设计一个控制器来寻找继承权重下性能最佳的架构不同，本文关注如何采样架构以训练超网，使其更具预测性。我们采用单路径超网，每步仅优化一小部分权重，以大幅降低内存需求。此外，我们放弃设计复杂的基于奖励的架构采样控制器，而是基于新颖性搜索来采样架构训练超网。本文设计了一种高效的 NAS 新颖性搜索方法，广泛实验证明了我们基于新颖性搜索的架构采样方法的有效性与高效性。我们的算法在相同搜索空间下获得的最佳架构，在单 GPU 上仅以 7.5 小时搜索时间在 CIFAR-10 上取得了 2.51% 的 SOTA 测试错误率，并在 PTB 上取得 60.02 的验证困惑度与 57.36 的测试困惑度。我们还将这些搜索所得单元结构分别迁移至更大数据集 ImageNet 与 WikiText-2。
引用
@article{arxiv.1907.09109,
title = {Efficient Novelty-Driven Neural Architecture Search},
author = {Miao Zhang and Huiqi Li and Shirui Pan and Taoping Liu and Steven Su},
journal= {arXiv preprint arXiv:1907.09109},
year = {2019}
}
备注
10 pages, 2 figures