多语言表示空间中语言距离与跨语言迁移相关性的识别
计算与语言
2024-03-28 v2 人工智能
机器学习
摘要
先前的研究考察了各种语言特征对跨语言迁移性能的影响。在本研究中,我们探讨这种影响如何映射到表示空间上。尽管过去的研究聚焦于微调期间多语言语言模型中的跨语言对齐所受的影响,本研究考察多语言语言模型(MLLM)所产生的各语言表示空间的绝对演化。我们特别强调语言特征的作用,并考察它们与对表示空间及跨语言迁移性能影响之间的相互关联。此外,本文提供了初步证据,说明如何利用这些发现来增强向语言距离较远语言的迁移。
引用
@article{arxiv.2305.02151,
title = {Identifying the Correlation Between Language Distance and Cross-Lingual Transfer in a Multilingual Representation Space},
author = {Fred Philippy and Siwen Guo and Shohreh Haddadan},
journal= {arXiv preprint arXiv:2305.02151},
year = {2024}
}
备注
SIGTYP Workshop 2023 (co-located with EACL 2023)