语言最小对帮助大型语言模型获得语言相似性
计算与语言
2024-12-16 v2
摘要
我们引入了一种新型分析方法，利用语言最小对（minimal pairs）探测大型语言模型（LLMs）的内部语言表示。通过测量LLM激活差异在最小对之间的相似性，我们量化了 linguistic similarity 并深入了解LLMs捕获的语言知识。我们的大规模实验覆盖100多个LLMs和15万个最小对，涉及三个语言，揭示了语言相似性的四个关键方面的属性：跨LLM的一致性、与理论分类的关系、与语义上下文的依赖性以及跨语言相关现象的对齐。我们的发现表明：1）语言相似性显著受训练数据暴露程度的影响，导致更高资源语言中跨LLM的协议更高。2）语言相似性强烈地与细粒度理论语言类别一致，但与较宽泛的类别关系较弱。3）语言相似性与语义相似性呈弱相关，显示其上下文依赖性质。4）LLMs在其对相关语言现象的理解方面表现出有限的跨语言对齐。本工作表明，最小对作为大型语言模型神经表示窗口的潜力，为我们了解LLMs与语言理论之间的关系提供了见解。代码和数据可在https://github.com/ChenDelong1999/Linguistic-Similarity 获取。
引用
@article{arxiv.2409.12435,
title = {Linguistic Minimal Pairs Elicit Linguistic Similarity in Large Language Models},
author = {Xinyu Zhou and Delong Chen and Samuel Cahyawijaya and Xufeng Duan and Zhenguang G. Cai},
journal= {arXiv preprint arXiv:2409.12435},
year = {2024}
}
备注
COLING 2025