LingGym：LLM 与领域语言学家思维相距多远？
计算与语言
2025-11-04 v1
摘要
本文引入 LingGym，一个新的基准，用于评估 LLM 进行 meta-linguistic 推理的能力，其运用了从 18 个类型多样性参考语法中提取的 Interlinear Glossed Text（IGT）和语法描述。不同于专注于特定下游任务的先前工作，我们评估 LLM 是否能够在训练期未见过的低资源语言和结构上的语言推理。我们提出一个受控评估任务：词- gloss 推理，在该任务中，模型必须从上下文中推断缺失的词和 gloss，所需的语言信息量不同（例如 gloss、语法解释、翻译）。我们的结果显示，纳入结构化语言线索会导致所有模型在推理性能上实现持续的改进。这一工作凸显了使用 LLM 进行类型信息化语言分析和低资源语言文档的潜力与当前局限性。
引用
@article{arxiv.2511.00343,
title = {LingGym: How Far Are LLMs from Thinking Like Field Linguists?},
author = {Changbing Yang and Franklin Ma and Freda Shi and Jian Zhu},
journal= {arXiv preprint arXiv:2511.00343},
year = {2025}
}
备注
EMNLP 2025 Main