HuCurl: 人诱导的课程发现
机器学习
2024-09-11 v1 计算与语言
摘要
我们引入了课程发现问题,并描述了一种能够在基于样本难度先验知识的课程空间中 discovering 有效课程的课程学习框架。使用标注熵和损失作为难度的度量,我们表明:(i) 给定模型和数据集的 top-performing 已发现课程通常是非单调的,而非现有文献中的单调课程;(ii) 流行的由易到难或由难到易过渡课程往往有表现不佳的风险;以及(iii) 为较小数据集和模型发现的课程分别在较大数据集和模型上表现良好。所提出的框架涵盖了现有的一些课程学习方法,并能发现跨若干 NLP 任务优于它们的课程。
引用
@article{arxiv.2307.07412,
title = {HuCurl: Human-induced Curriculum Discovery},
author = {Mohamed Elgaar and Hadi Amiri},
journal= {arXiv preprint arXiv:2307.07412},
year = {2024}
}
备注
In Proceedings of the 61st Annual Meeting of the Association for Computational Linguistics (ACL)