课程学习的训练动态研究：面向单语与跨语言 NLU
计算与语言
2022-11-28 v2
摘要
课程学习(CL)是一种通过对样本按通常递增的难度趋势排序来训练模型的技术，旨在加速收敛并提升泛化能力。当前面向自然语言理解(NLU)任务的 CL 方法常通过启发式或任务无关的难度来提升分布内数据表现。本文中，我们转而利用训练动态作为难度度量(即衡量模型在训练时于特定任务-数据实例上行为的统计量)来实施 NLU 的 CL，并基于这些统计量提出对现有 CL 调度器的改进。与已有工作不同，我们聚焦于在分布内(ID)、分布外(OOD)以及零样本(ZS)跨语言迁移数据集上评估模型。我们在多个 NLU 任务上表明，基于训练动态的课程学习主要在零样本跨语言迁移与 OOD 设定下带来更优表现，某些情况下提升达 8.5%。总体而言，实验显示相较于其他难度度量，训练动态可带来表现更优且训练更平滑的模型，同时平均快 20%。此外，我们通过分析阐明了任务特定与任务无关度量之间的相关性。
引用
@article{arxiv.2210.12499,
title = {Training Dynamics for Curriculum Learning: A Study on Monolingual and Cross-lingual NLU},
author = {Fenia Christopoulou and Gerasimos Lampouras and Ignacio Iacobacci},
journal= {arXiv preprint arXiv:2210.12499},
year = {2022}
}
备注
17 pages, 4 figures, 6 tables. To appear in EMNLP 2022