多语言语言模型表示的几何结构
计算与语言
2022-10-25 v2
摘要
我们评估多语言语言模型如何在维持共享的多语言表示空间的同时，仍对每种语言编码语言敏感信息。以 XLM-R 为案例研究，我们表明在均值中心化后，各语言占据相似的线性子空间，这基于语言建模性能上的因果效应以及对 88 种语言子空间之间的直接比较来评估。子空间均值沿语言敏感轴存在差异，这些轴在中间层相对保持稳定，并且这些轴编码诸如词表之类的信息。通过语言均值平移表示，足以在不同语言中诱导出词预测。然而，我们也识别出稳定的语言中立轴，其编码诸如词位置与词性之类的信息。我们将表示投影到语言敏感与语言中立轴上进行可视化，识别出语系与词性簇，以及表示词位置信息的螺旋、环面与曲线。这些结果表明，多语言语言模型沿正交的语言敏感与语言中立轴编码信息，使模型能够为下游任务与跨语言迁移学习提取多种特征。
引用
@article{arxiv.2205.10964,
title = {The Geometry of Multilingual Language Model Representations},
author = {Tyler A. Chang and Zhuowen Tu and Benjamin K. Bergen},
journal= {arXiv preprint arXiv:2205.10964},
year = {2022}
}
备注
Accepted to EMNLP 2022