ScreenerNet:为深度神经网络学习自定进度课程
计算机视觉与模式识别
2018-06-07 v4
摘要
我们提出通过一个可附着的深度神经网络(称为 ScreenerNet)为基于深度神经网络的有监督学习和深度强化学习学习一个课程或教学大纲。具体而言,我们以端到端自定进度的形式联合训练 ScreenerNet 和主网络,从而为每个样本学习一个权重。ScreenerNet 既无采样偏差,也无需记忆过往学习历史。我们表明,在使用了 MNIST、CIFAR10 和 Pascal VOC2012 这三个流行视觉数据集以及使用 Deep Q-learning 的 Cart-pole 任务的广泛实验中,增强了 ScreenerNet 的网络比最先进的课程学习方法更快收敛且精度更高。此外,ScreenerNet 可扩展其他课程学习方法,如 Prioritized Experience Replay (PER),以进一步提升精度。
引用
@article{arxiv.1801.00904,
title = {ScreenerNet: Learning Self-Paced Curriculum for Deep Neural Networks},
author = {Tae-Hoon Kim and Jonghyun Choi},
journal= {arXiv preprint arXiv:1801.00904},
year = {2018}
}
备注
curricular learning, deep learning, deep q-learning