哪种词序有助于语言模型进行长度广义？基于 GCG 人工语言的探究
计算与语言
2025-10-15 v1
摘要
语言模型是否具备归纳偏置，使其倾向于优先处理类型学上频繁的语法属性而非罕见且不合常理的属性，已有研究通常使用人工语言进行探讨（White 和 Cotterell，2021；Kuribayashi 等，2024）。本文从两个角度扩展了这些工作：第一，采用广义范畴语法（GCG，Wood，2014）扩展了上下文无关人工语言的形式化，使其能够涵盖已被证实但此前被忽略的结构，如无限依赖和轻度上下文敏感结构。第二，我们的评估更关注语言模型处理未见过的更长测试句子的广义能力。因此，我们的人工语言更好地捕捉了自然语言的特征，而我们的实验范式则得出了更清晰的结论——类型学上合乎常理的词序更有利于语言模型进行生产性广义。
引用
@article{arxiv.2510.12722,
title = {Which Word Orders Facilitate Length Generalization in LMs? An Investigation with GCG-Based Artificial Languages},
author = {Nadine El-Naggar and Tatsuki Kuribayashi and Ted Briscoe},
journal= {arXiv preprint arXiv:2510.12722},
year = {2025}
}
备注
EMNLP 2025 Main Conference