BabyLM 是第二语言学习者吗？
计算与语言
2024-10-29 v1
摘要
本文描述了一种面向 2024 年 BabyLM 挑战赛（Warstadt 等人，2023）的语言学驱动方法。我们没有追求第一语言学习 (L1) 范式，而是从第二语言 (L2) 学习的角度来应对这一挑战。在 L2 学习中，更侧重于学习显性的语言信息，例如语法概念、单词定义或表达意义的不同方式。这使得 L2 学习可能更高效、更简洁。我们使用来自维基词典的数据、由 LLM 生成或源自语法书的语法示例以及释义数据来近似模拟这一点。我们发现，关于词义的显性信息（在我们的案例中为维基词典）并不能提升模型性能，而语法信息可以带来小幅改进。影响最大的数据成分是句子释义，我们最好的两个模型分别在 1) 释义数据与 BabyLM 预训练数据集的混合数据，以及 2) 纯释义数据上进行训练。
引用
@article{arxiv.2410.21254,
title = {Are BabyLMs Second Language Learners?},
author = {Lukas Edman and Lisa Bylinina and Faeze Ghorbanpour and Alexander Fraser},
journal= {arXiv preprint arXiv:2410.21254},
year = {2024}
}