基于强化学习的神经架构搜索
机器学习
2017-02-16 v2 人工智能
神经与进化计算
摘要
神经网络是强大且灵活的模型，在图像、语音和自然语言理解等许多困难学习任务中表现良好。尽管取得了成功，神经网络仍难以设计。本文中，我们使用循环网络生成神经网络的模型描述，并采用强化学习训练该RNN，以最大化生成架构在验证集上的期望准确率。在CIFAR-10数据集上，我们的方法从零开始，能够设计出在测试集准确率方面可与最佳人工发明架构相媲美的新颖网络架构。我们的CIFAR-10模型实现了3.65的测试错误率，比先前使用类似架构方案的state-of-the-art模型好0.09个百分点且快1.05倍。在Penn Treebank数据集上，我们的模型能够组合出一种新颖的循环单元，其性能优于广泛使用的LSTM单元及其他state-of-the-art基线。我们的单元在Penn Treebank上取得了62.4的测试集困惑度，比先前state-of-the-art模型好3.6困惑度。该单元还可迁移至PTB上的字符语言建模任务，并取得1.214的state-of-the-art困惑度。
引用
@article{arxiv.1611.01578,
title = {Neural Architecture Search with Reinforcement Learning},
author = {Barret Zoph and Quoc V. Le},
journal= {arXiv preprint arXiv:1611.01578},
year = {2017}
}