中文

基于认知动机语言模型涌现的语序普遍性

计算与语言 2024-06-11 v2

摘要

世界上的语言表现出某些所谓的类型学或蕴涵普遍性;例如,主-宾-动(SOV)语言通常使用后置词。解释这种偏见的来源是语言学的一个关键目标。我们通过语言模型的计算模拟来研究语序普遍性。我们的实验表明,具有认知合理偏见(句法偏见、特定解析策略和记忆限制)的语言模型所估计的困惑度,在类型学典型的语序中往往更低。这表明,认知偏见和可预测性(困惑度)之间的相互作用可以解释语序普遍性的许多方面。它还展示了通常用于认知建模的认知动机语言模型在模拟语言普遍性方面的优势。

关键词

引用

@article{arxiv.2402.12363,
  title  = {Emergent Word Order Universals from Cognitively-Motivated Language Models},
  author = {Tatsuki Kuribayashi and Ryo Ueda and Ryo Yoshida and Yohei Oseki and Ted Briscoe and Timothy Baldwin},
  journal= {arXiv preprint arXiv:2402.12363},
  year   = {2024}
}

备注

Accepted by ACL 2024 main conference, 22 pages