Transformer 编码器中的跨语言干扰矩阵
计算与语言
2025-08-05 v1
摘要
本文提出了对encoder-only Transformer模型中语言干扰的全面研究，涵盖83种语言。我们通过在所有可能的语言对上训练和评估小型BERT类模型构建干扰矩阵，提供了跨语言干扰的大规模量化。我们的分析表明，语言之间的干扰是非对称的，其模式不与传统语言特征（如语言族）对齐，也不与诸如嵌入相似性等代理因素相关，而更与脚本类型相关。最后，我们证明了干扰矩阵有效预测下游任务的性能，作为改进多语言模型设计以获得最佳性能的工具。
引用
@article{arxiv.2508.02256,
title = {Interference Matrix: Quantifying Cross-Lingual Interference in Transformer Encoders},
author = {Belen Alastruey and João Maria Janeiro and Alexandre Allauzen and Maha Elbayad and Loïc Barrault and Marta R. Costa-jussà},
journal= {arXiv preprint arXiv:2508.02256},
year = {2025}
}