神经网络的自动化课程学习
神经与进化计算
2017-04-12 v1
摘要
我们引入了一种用于自动选择神经网络通过课程所遵循的路径（或 syllabus）以最大化学习效率的方法。网络从每个数据样本学习到的量的度量被提供为非平稳多臂老虎机算法（nonstationary multi-armed bandit algorithm）的奖励信号，该算法随后确定随机化的 syllabus。我们考虑源自两种不同学习进度指标的一系列信号：预测准确性的增加速率，以及网络复杂性的增加速率。在三个课程上针对 LSTM 网络的实验结果表明，我们的方法能够显著加速学习，在某些情况下将达成满意性能水平所需的时间减半。
引用
@article{arxiv.1704.03003,
title = {Automated Curriculum Learning for Neural Networks},
author = {Alex Graves and Marc G. Bellemare and Jacob Menick and Remi Munos and Koray Kavukcuoglu},
journal= {arXiv preprint arXiv:1704.03003},
year = {2017}
}