构建人造语言以探测大语言模型的元语言语法知识
计算与语言
2026-04-21 v3
摘要
我们提出了一个系统，将大语言模型用作人造语言（ConLang）开发工具，称为 IASC（Interactive Agentic System for ConLangs）。该系统模块化，利用特定模块的提示集创建每个组件——声韵学、形态学与句法、词汇、正字法及语法手册。该方法具有代理性，各模块允许基于自动生成的前一步评论进行输出优化。我们的主要目标有二。其一，提供工具以促进人造语言创建过程的互动性与趣味性；其二，本文聚焦于将该人造语言框架作为探索大语言模型语言知识的新方法——并非了解特定语言或百科知识，而是探究其对语言及语言概念的理解程度。在实验中，我们特别关注形态句法模块，结果显示不同大语言模型及不同语言规范之间的能力存在明显差距，系统处理较为常见的语言类型模式要比处理罕见模式容易得多。所有代码均已公开。
引用
@article{arxiv.2510.07591,
title = {Creating ConLangs to Probe the Metalinguistic Grammatical Knowledge of LLMs},
author = {Chihiro Taguchi and Richard Sproat},
journal= {arXiv preprint arXiv:2510.07591},
year = {2026}
}
备注
53 pages, 18 tables, 3 figures. Accepted at ACL 2026