SLABERT 终有一日说得漂亮：用 BERT 建模第二语言习得
计算与语言
2023-06-01 v1
摘要
第二语言习得（SLA）研究已广泛探讨跨语言迁移，即说话者母语 [L1] 的语言结构对其成功习得外语 [L2] 的影响。此类迁移效应可为正面（促进习得）或负面（阻碍习得）。我们发现 NLP 文献对负迁移现象关注不足。为理解 L1 与 L2 之间正负迁移的模式，我们在语言模型（LMs）中建模序列化的第二语言习得。此外，我们构建了多语言年龄有序 CHILDES（MAO-CHILDES）——一个包含 5 种类型学上多样语言（即德语、法语、波兰语、印尼语和日语）的数据集——以理解母语儿童指向语音（CDS）[L1] 在多大程度上有助于或与英语习得 [L2] 相冲突。为检验母语 CDS 的影响，我们采用 Papadimitriou 和 Jurafsky（2020）提出的基于 TILT 的跨语言迁移学习方法，并发现如同人类 SLA 一样，语系距离可预测更强的负迁移。此外，我们发现会话语音数据比脚本语音数据对语言习得表现出更大的促进作用。我们的发现呼吁使用我们新颖的基于 Transformer 的 SLA 模型开展进一步研究，并希望通过发布代码、数据和模型来鼓励此类研究。
引用
@article{arxiv.2305.19589,
title = {SLABERT Talk Pretty One Day: Modeling Second Language Acquisition with BERT},
author = {Aditya Yadavalli and Alekhya Yadavalli and Vera Tobin},
journal= {arXiv preprint arXiv:2305.19589},
year = {2023}
}
备注
Accepted at ACL 2023