基于自编码器连续优化的课程生成

课程学习的研究表明，通过优化训练数据的顺序可以在任务上获得更好的性能。近期的工作集中于使用复杂的强化学习技术来寻找最优的数据排序策略，以最大化给定网络的学习效果。在本文中，我们提出了一种基于自编码过程训练的连续优化的简单而高效的技术。我们将这一新方法称为训练序列优化（Training Sequence Optimization, TSO）。通过常规的编码器-解码器设置，我们尝试学习训练策略的潜空间连续表示，并使用一个预测网络基于该连续表示预测该策略在固定网络架构上的准确率。性能预测器和编码器使我们能够通过梯度优化，逐步移向具有潜在更高准确率的训练数据排序的潜空间表示。我们使用 CIFAR-100 和 CIFAR-10 数据集，以生成的最优课程策略相比随机策略取得了 2AP 的经验增益，并且比现有的最先进 CL 算法有更好的提升。