师生网络中课程学习的解析理论

在人类与动物中，课程学习——以精心安排的顺序呈现数据——对快速学习与有效教学至关重要。然而在机器学习中，课程并未被广泛使用，且经验上常仅带来中等收益。课程重要性的这种鲜明差异提出了一个基础理论问题：课程学习何时以及为何有帮助？在本工作中，我们采用统计物理方法，分析了高维极限下课程学习的原型神经网络模型。课程原则上可改变模型的学习速度与渐近性能。为研究前者，我们给出在线学习设置的精确描述，证实了长期存在的实验观察：课程可适度加速学习。为研究后者，我们推导了批量学习设置下的性能，其中网络在 successively 的不同难度数据切片学习阶段中训练至收敛。在标准训练损失下，课程不提供泛化益处，与经验观察一致。然而，我们表明通过以简单高斯先验连接不同学习阶段，课程可带来测试性能的大幅提升。综上，我们的简化解析描述有助于调和看似冲突的经验结果，并追溯课程学习收益最大的机制。更广泛地，我们的结果表明充分利用课程可能需要在课程边界处对损失函数作显式改变。