神经语言模型的第二语言习得
计算与语言
2023-06-06 v1
摘要
随着神经语言模型（LMs）的成功，其语言习得受到广泛关注。本研究揭示 LMs 的第二语言（L2）习得，而先前工作通常探究其第一语言（L1）习得。具体而言，我们以类似于人类 L2 习得的场景训练双语 LMs，并从语言学视角分析其跨语言迁移。我们的探索性实验表明，L1 预训练加速了其在 L2 中的语言泛化，且语言迁移配置（如 L1 选择、平行文本的存在）显著影响其泛化。这些在 particular 方面澄清了它们（非）类人的 L2 习得。
引用
@article{arxiv.2306.02920,
title = {Second Language Acquisition of Neural Language Models},
author = {Miyu Oba and Tatsuki Kuribayashi and Hiroki Ouchi and Taro Watanabe},
journal= {arXiv preprint arXiv:2306.02920},
year = {2023}
}