杯形课程：基于模型容量的课程学习
机器学习
2023-11-08 v1
摘要
课程学习 (CL) 旨在通过对给定任务应用专门的学习策略来提升学习器在该任务上的性能。该策略聚焦于数据集、任务或模型。目前极少有分析在自然语言处理中对模型容量应用 CL 的可能性的工作。为弥补这一空白，我们提出杯形课程。在训练的第一阶段，我们使用迭代幅度剪枝的一种变体来降低模型容量。这些权重在第二阶段被重新引入，使得模型容量在训练迭代上呈现杯形曲线。我们通过实验评估杯形课程的不同策略，并表明它可靠优于早停，同时表现出对过拟合的高鲁棒性。
引用
@article{arxiv.2311.03956,
title = {Cup Curriculum: Curriculum Learning on Model Capacity},
author = {Luca Scharr and Vanessa Toborek},
journal= {arXiv preprint arXiv:2311.03956},
year = {2023}
}
备注
14 pages, 5 figures, both including appendix, OPT 2023 workshop of NeurIPS 2023 conference