容量约束与词汇歧义的多语言惩罚
计算与语言
2026-02-06 v1
摘要
多语言语言模型(LMs)有时会不及其单语言对手。我们量化了这种“多语言惩罚”对词汇歧义的影响——这一任务需要精确的语义表示和上下文化机制。我们使用控制数据集，对人类相关性判断中对模糊词汇在英语和西班牙语中的歧义进行测量。比较来自相同家族的单语言和多语言LMs，我们发现多语言LMs在表现上持续低于单语言LMs。随后，我们探讨了三个可能的容量约束：表征性的（减少嵌入各向同性）、注意力的（减少对歧义线索的注意）以及词汇相关的（增加多标记分段）。多语言LMs显示出所有三种限制的一些证据；此外，这些因素统计上解释了此前归因于模型多语言身份的方差。这些发现表明，多语言LMs确实受到多种容量约束的影响，并且这些约束与减少歧义性能相关联。
引用
@article{arxiv.2602.05035,
title = {Capacity Constraints and the Multilingual Penalty for Lexical Disambiguation},
author = {Sean Trott and Pamela D. Rivière},
journal= {arXiv preprint arXiv:2602.05035},
year = {2026}
}
备注
9 pages, 5 figures, conference