面向神经架构搜索的非神经网络精度预测模型
机器学习
2021-07-20 v3 人工智能
计算机视觉与模式识别
机器学习
摘要
带有预测候选架构精度的精度预测器的神经架构搜索（NAS）因其简单有效而受到越来越多的关注。先前工作通常采用基于神经网络的预测器，其需要更精细的设计且容易过拟合。考虑到大多数架构表示为离散符号序列，更类似于表格数据且为非神经网络预测器所偏好，本文研究一种使用非神经网络模型进行精度预测的替代方法。具体而言，由于基于决策树的模型能更好地处理表格数据，我们利用梯度提升决策树（GBDT）作为NAS的预测器。我们证明GBDT预测器能达到与基于神经网络的预测器相当（甚至更优）的预测精度。此外，考虑到紧凑的搜索空间可简化搜索过程，我们提出根据GBDT导出的重要特征逐步剪枝搜索空间。如此，NAS可先剪枝搜索空间再搜索神经架构，更为高效且有效。在NASBench-101与ImageNet上的实验证明了使用GBDT作为NAS预测器的有效性：（1）在NASBench-101上，其在寻找全局最优时比随机搜索、正则化进化与蒙特卡洛树搜索（MCTS）分别高22倍、8倍与6倍的采样效率；（2）其在ImageNet上达到24.2%的top-1错误率，并在结合搜索空间剪枝后进一步达到23.4%的top-1错误率。代码见 https://github.com/renqianluo/GBDT-NAS。
引用
@article{arxiv.2007.04785,
title = {Accuracy Prediction with Non-neural Model for Neural Architecture Search},
author = {Renqian Luo and Xu Tan and Rui Wang and Tao Qin and Enhong Chen and Tie-Yan Liu},
journal= {arXiv preprint arXiv:2007.04785},
year = {2021}
}
备注
Code is available at https://github.com/renqianluo/GBDT-NAS