元架构搜索
机器学习
2019-11-18 v2 机器学习
摘要
神经架构搜索（NAS）已在多种任务上成功构建最先进模型。遗憾的是，其计算代价可能使其难以扩展。本文首次尝试研究元架构搜索（Meta Architecture Search），旨在学习任务无关的表示，用以加速大量任务上的架构搜索过程。我们提出贝叶斯元架构搜索（BASE）框架，其利用架构搜索问题的贝叶斯公式，在整个任务集合上同时学习。我们展示在ImageNet分类上，通过从8 GPU天预训练的元网络出发、不到一小时适配架构，可找到top-1误差25.7%与top-5误差8.1%的模型。通过学习NAS的良好先验，我们的方法在取得与当前最先进方法相当性能的同时，大幅降低了所需计算代价——甚至以极快适配为未知数据集找到具竞争力的模型。我们相信我们的框架将为跨多任务高效且大规模可扩展的架构搜索研究开启新的可能。
引用
@article{arxiv.1812.09584,
title = {Meta Architecture Search},
author = {Albert Shaw and Wei Wei and Weiyang Liu and Le Song and Bo Dai},
journal= {arXiv preprint arXiv:1812.09584},
year = {2019}
}
备注
11 pages, 4 figures, 4 tables, 4 pages of appendix; NeurIPS 2019