句法类别是否有助于面向语言模型的发展启发性课程学习？
计算与语言
2025-11-12 v1
摘要
我们检查了 BabyLM 语料库以及 CHILDES 中年龄分组的句法属性。虽然我们发现 CHILDES 并未表现出按年龄的强句法分化，但我们表明，关于训练数据的句法知识有助于解释模型在语言任务上的性能。对于课程学习，我们探索了发展性课程以及几种受认知启发的替代课程方法。我们发现某些课程有助于阅读任务，但主要的性能提升来自于使用句法可分类数据的子集，而非完整的含噪语料库。
引用
@article{arxiv.2511.08199,
title = {Do Syntactic Categories Help in Developmentally Motivated Curriculum Learning for Language Models?},
author = {Arzu Burcu Güven and Anna Rogers and Rob van der Goot},
journal= {arXiv preprint arXiv:2511.08199},
year = {2025}
}