课程学习综述
机器学习
2021-03-26 v2 人工智能
摘要
课程学习（CL）是一种从易到难数据训练机器学习模型的训练策略，它模仿了人类课程中有意义的学习顺序。作为一种易于使用的插件，CL策略已在计算机视觉和自然语言处理等多种场景下的各类模型中展现出提升泛化能力与收敛速度的功效。在本综述中，我们从动机、定义、理论与应用等多个方面对CL进行了全面回顾。我们在一个通用CL框架内讨论课程学习相关工作，详述如何设计人工预定义课程或自动课程。特别地，我们基于“难度度量器+训练调度器”的通用框架总结了现有CL设计，并将自动CL方法进一步分为四类：自步学习、迁移教师、强化学习教师与其他自动CL。我们还分析了在实际应用中选择不同CL设计的原则。最后，我们阐述了CL与迁移学习、元学习、持续学习和主动学习等其他机器学习概念之间的关系，并指出CL面临的挑战以及值得进一步探索的潜在未来研究方向。
引用
@article{arxiv.2010.13166,
title = {A Survey on Curriculum Learning},
author = {Xin Wang and Yudong Chen and Wenwu Zhu},
journal= {arXiv preprint arXiv:2010.13166},
year = {2021}
}
备注
20 pages, 7 figures, Accepted by IEEE Transactions on Pattern Analysis and Machine Intelligence 2021 (TPAMI)