高效前向架构搜索
机器学习
2019-06-03 v1 机器学习
摘要
我们提出一种神经架构搜索（NAS）算法Petridish，用于迭代地向现有网络层添加快捷连接。所添加的快捷连接有效地对增广层执行梯度提升。该算法的动机来自特征选择算法前向分段线性回归，我们将NAS视为回归特征选择的推广，其中NAS在层间选择快捷方式而非选择特征。为减少可能连接组合的实验次数，我们在每个生长阶段联合训练所有可能连接，同时利用特征选择技术从中选取子集。实验表明，该过程是一种高效的前向架构搜索算法，可在可重复网络模块（单元搜索）和通用网络（宏搜索）的搜索空间中用极少GPU天找到具有竞争力的模型。Petridish尤其适用于从现有模型热启动，这对终身学习的场景至关重要。
引用
@article{arxiv.1905.13360,
title = {Efficient Forward Architecture Search},
author = {Hanzhang Hu and John Langford and Rich Caruana and Saurajit Mukherjee and Eric Horvitz and Debadeepta Dey},
journal= {arXiv preprint arXiv:1905.13360},
year = {2019}
}
备注
preprint