基于 Adam 的课程学习：谬误藏于错误的细节中
机器学习
2023-08-24 v1 计算与语言
摘要
课程学习（CL）认为机器学习模型——类似于人类——可能从匹配其当前学习进度的数据中更高效学习。然而，CL 方法仍鲜被理解，尤其在自然语言处理（NLP）中仅取得有限成功。本文探究其原因。从尝试复现并扩展若干近期课程方法出发，我们发现当其应用于 NLP 时结果出奇地脆弱。对部分场景下课程（无效）效果的深入剖析揭示了原因：当课程与流行的 Adam 优化算法结合使用时，它们往往学会去适应为该算法次优选择的优化参数。我们给出若干不同常见手工设计与自动化 CL 方法的案例研究以阐明此现象，并发现它们均不优于仅使用调好超参数的 Adam 的优化。因此，我们的结果有助于理解 CL 方法为何有效，但同时也警示在宣称正向结果时须谨慎。
引用
@article{arxiv.2308.12202,
title = {Curriculum Learning with Adam: The Devil Is in the Wrong Details},
author = {Lucas Weber and Jaap Jumelet and Paul Michel and Elia Bruni and Dieuwke Hupkes},
journal= {arXiv preprint arXiv:2308.12202},
year = {2023}
}