半监督神经架构搜索
机器学习
2020-11-04 v4 机器学习
摘要
神经架构搜索（NAS）依赖于一个良好的控制器来生成更优架构或预测给定架构的准确率。然而，训练该控制器需要大量高质量的架构及其准确率配对数据，而评估一个架构并获取其准确率成本高昂。本文提出 SemiNAS，一种利用大量未标注架构（无需评估因而几乎零成本）的半监督 NAS 方法。具体而言，SemiNAS 1）用一小部分架构-准确率数据对训练初始准确率预测器；2）用训练好的准确率预测器预测大量架构的准确率（无需评估）；3）将生成的数据对加入原始数据以进一步提升预测器。训练好的准确率预测器可通过预测候选架构的准确率为各类 NAS 算法所用。SemiNAS 有两个优势：1）在相同准确率保证下降低计算成本。在 NASBench-101 基准数据集上，它在使用仅 1/7 的架构-准确率数据对时取得了与基于梯度的方法相当的准确率。2）在相同计算成本下取得更高准确率。它在 NASBench-101 上达到 94.02% 测试准确率，在使用相同架构数量时优于所有基线。在 ImageNet 上，它在 600M FLOPS 约束下以 4 GPU-days 搜索取得 23.5% top-1 错误率。我们进一步将其应用于 LJSpeech 文本转语音任务，在低资源设定下达到 97% 可懂度率，在鲁棒性设定下达到 15% 测试错误率，分别较基线提升 9%、7%。
引用
@article{arxiv.2002.10389,
title = {Semi-Supervised Neural Architecture Search},
author = {Renqian Luo and Xu Tan and Rui Wang and Tao Qin and Enhong Chen and Tie-Yan Liu},
journal= {arXiv preprint arXiv:2002.10389},
year = {2020}
}
备注
NeurIPS 2020