利用 Fisher 信息矩阵在多语言翻译模型中聚类伪语系
计算与语言
2023-12-06 v1 人工智能
摘要
在多语言翻译研究中，理解与利用语系至关重要。然而，由于模型训练阶段所用数据集的差异，仅基于祖源语系对语言进行聚类可能会产生次优结果。为缓解这一挑战，我们引入了一种创新方法，该方法利用 Fisher 信息矩阵（FIM），基于多语言翻译模型的特征来聚类语系。我们假设，对模型参数具有相似影响的语言对表现出相当程度的语言一致性，因此应被内聚地归为一组。这一概念引导我们定义了伪语系。我们深入讨论了这些伪语系的产生与应用。实证评估表明，在使多语言翻译模型适应陌生语言对时，采用这些伪语系比传统语系能提升性能。所提出的方法也可扩展到需要语言相似性度量的场景。源代码和相关脚本可通过 https://github.com/ecoli-hit/PseudoFamily 获取。
引用
@article{arxiv.2312.02820,
title = {Clustering Pseudo Language Family in Multilingual Translation Models with Fisher Information Matrix},
author = {Xinyu Ma and Xuebo Liu and Min Zhang},
journal= {arXiv preprint arXiv:2312.02820},
year = {2023}
}
备注
Accepted to EMNLP 2023