反事实探测多语言模型中的语言身份
计算与语言
2023-10-31 v1
摘要
语言模型因果分析技术揭示了 LLM 中语言信息的组织方式。我们采用其中一种技术 AlterRep（一种反事实探测方法）来探索多语言模型（mBERT 与 XLM-R）的内部结构。我们在二分类语言身份任务上训练线性分类器，以区分语言 X 与语言 Y 的词元。应用反事实探测流程，我们利用分类器权重将嵌入投影至零空间，并将所得嵌入推向语言 X 或语言 Y 的方向。随后我们在掩码语言建模任务上评估。我们发现，给定语言 X 的模板，向语言 Y 推动会系统性地提高语言 Y 词汇的概率，超出第三方对照语言之上。但它并未特异性地将模型推向语言 Y 中与翻译等价的词。向语言 X（与模板同向）推动影响极小，但会一定程度上降低这些模型的性能。总体而言，我们将这些结果视为海量多语言模型具有丰富结构的进一步证据，其包含语言特定与语言通用两种成分。并表明反事实探测可卓有成效地应用于多语言模型。
引用
@article{arxiv.2310.18862,
title = {Counterfactually Probing Language Identity in Multilingual Models},
author = {Anirudh Srinivasan and Venkata S Govindarajan and Kyle Mahowald},
journal= {arXiv preprint arXiv:2310.18862},
year = {2023}
}
备注
12 pages, 5 figures, MRL Workshop @ EMNLP 2023