少即是多：借助认知合理的课程学习策略预训练跨语言小规模语言模型
计算与语言
2025-02-24 v2 人工智能
摘要
课程学习是一种提高小规模语言模型（SSLMs）在BabyLM挑战中认知合理性的流行策略。然而，它并未在非课程模型上带来显著改进。我们评估了是否可以利用理论语言习得理论来指定更精细的课程学习策略，为四种类型学上相距甚远的语系创建儿童导向语音的年龄有序语料库，以实现SSLMs和跨语言的习得启发式课程。比较了三种目标课程（Growing、Inwards和MMM）在标准SSLM架构上精确复制习得理论预测的成功情况，我们发现精细的习得启发式课程可以超越非课程基线，并且SSLMs中课程策略的性能收益可以通过指定精确复制语言习得理论的精细语言特定课程来获得。
引用
@article{arxiv.2410.22886,
title = {Less is More: Pre-Training Cross-Lingual Small-Scale Language Models with Cognitively-Plausible Curriculum Learning Strategies},
author = {Suchir Salhan and Richard Diehl Martinez and Zébulon Goriely and Paula Buttery},
journal= {arXiv preprint arXiv:2410.22886},
year = {2025}
}
备注
BabyLM Shared Task 2024 (Accepted, Poster), co-located in EMNLP 2024