从咿呀学语到流利表达：从人类语言习得角度评估语言模型的演化
计算与语言
2024-10-18 v1
摘要
我们从人类语言习得的关键视角审视语言模型的语言能力。基于经典的语言发展理论，我们提出了一个三阶段框架来评估语言模型的能力，范围从初步的词汇理解到复杂的语法和复杂的逻辑推理。使用这个框架，我们利用语言学研究方法评估了语言模型的生成能力。结果表明，尽管最新的语言模型在整体性能上优于早期模型，但它们的发展轨迹并未严格遵循人类语言习得的路径。值得注意的是，在生成任务中，语言模型在那些信息更容易从语料库中提取的领域（如平均词长、从句和助动词）与人类表现更为相似。较新的语言模型在特定维度（如从句和助动词，这些维度上跨语料库的变异相对有限）上并未表现出显著进步。语域理论为这些观察结果提供了一个合理的解释，表明训练数据的语言特征对模型的能力有实质性影响。
引用
@article{arxiv.2410.13259,
title = {From Babbling to Fluency: Evaluating the Evolution of Language Models in Terms of Human Language Acquisition},
author = {Qiyuan Yang and Pengda Wang and Luke D. Plonsky and Frederick L. Oswald and Hanjie Chen},
journal= {arXiv preprint arXiv:2410.13259},
year = {2024}
}