基于数据的课程学习是否有效？
计算与语言
2024-02-06 v2
摘要
当前最先进的 NLP 系统使用大型神经网络，训练需要大量计算资源。受人类知识获取的启发，研究者提出了课程学习——即对任务进行排序（基于任务的课程）或对数据集进行排序与采样（基于数据的课程）以促进训练。本工作研究了基于数据的课程学习对于 BERT 和 T5 等大型现代语言模型的益处。我们使用基于一系列复杂度度量和不同采样策略的多种课程进行了实验。在不同 NLP 任务上的大量实验表明，基于各种复杂度度量的课程很少带来任何益处，而随机采样表现与课程学习相当或更好。
引用
@article{arxiv.2112.06510,
title = {Do Data-based Curricula Work?},
author = {Maxim K. Surkov and Vladislav D. Mosin and Ivan P. Yamshchikov},
journal= {arXiv preprint arXiv:2112.06510},
year = {2024}
}