论课程学习的统计收益
机器学习
2021-11-16 v1 机器学习
摘要
课程学习(CL)是一种常用的机器学习训练策略。然而,我们仍缺乏对其收益的清晰理论理解。本文在多任务线性回归问题中,于结构化和非结构化两种设定下研究 CL 的收益。对两种设定,我们推导了由提供最优课程的预言机进行的 CL 以及无预言机时代理须自适应学习良好课程的最小最大速率。我们的结果表明,在非结构化设定下自适应学习从根本上比预言机学习更难,而在结构化设定下仅引入一个小的额外项。为联通理论与实践,我们通过将一种流行的经验方法(即选取具有最高局部预测增益的任务)的保证与上述最小最大速率比较,为其提供合理性依据。
引用
@article{arxiv.2111.07126,
title = {On the Statistical Benefits of Curriculum Learning},
author = {Ziping Xu and Ambuj Tewari},
journal= {arXiv preprint arXiv:2111.07126},
year = {2021}
}