基于心理学的统一动态课程学习框架
计算与语言
2025-11-27 v2
摘要
直接从难度不同的例子中学习对人类和机器学习模型都具有挑战。更有效的策略是将学习者暴露于从易到难的逐步顺序。课程学习(CL)已被提出在机器学习模型训练中实现这一策略。然而,CL框架设计仍面临两个关键挑战:定义训练数据的难度以及确定每个训练步骤输入的合适数据量。drawing inspiration from psychometrics,本文提出了基于心理学的统一动态课程学习框架(PUDF)。我们通过对Artificial Crowds(AC)的响应应用项目反应理论(IRT)来量化训练数据的难度。该理论驱动的IRT-AC方法导致全局(即模型无关)且可解释的难度值。基于IRT,我们提出一种训练策略,通过模型能力估计动态选择数据(DDS-MAE),以安排模型训练中的数据量。由于我们的难度标签和模型能力估计都基于同一理论,即IRT,其值在同一范围内可比较,可能导致训练数据选择与其他CL方法相比更快收敛。实验结果表明,使用PUDF对预训练大型语言模型进行微调可在一套基准数据集上实现更高准确率和更快收敛速度,相较于标准微调和最先进的CL方法。消融研究和下游分析进一步验证了PUDF对CL的影响。
引用
@article{arxiv.2408.05326,
title = {A Psychology-based Unified Dynamic Framework for Curriculum Learning},
author = {Guangyu Meng and Qingkai Zeng and John P. Lalor and Hong Yu},
journal= {arXiv preprint arXiv:2408.05326},
year = {2025}
}
备注
Accepted for publication in Computational Linguistics. This is a pre-MIT Press publication version. Code available at https://github.com/nd-ball/cl-irt