面向非主导语言能力提升的基于偏移移的多语言对比框架——ShifCon
计算与语言
2025-06-30 v6
摘要
虽然使用多语言数据微调大型语言模型（LLM）可以快速提升其多语言能力，但由于训练数据在不同语言之间的不平衡，LLM仍在主导语言（如英语）和非主导语言之间存在性能差距。为进一步提升非主导语言的性能，我们提出了ShifCon，一个基于偏移移的多语言对比框架，通过对其他语言的内部前向过程进行对齐以匹配主导语言。具体而言，它将非主导语言的表示偏移到主导语言子空间中，使其能够访问模型参数中编码的相对丰富信息。随后，將这些丰富的表示偏回到其原始语言子空间以进行生成。此外，我们引入子空间距离度量以确定最佳偏移层级区域，并采用多语言对比学习进一步增强该区域内表示的对齐。实验表明，我们的ShifCon框架显著提升了非主导语言的性能，尤其是低资源语言。进一步分析提供了额外见解，验证了ShifCon的有效性，并为未来研究指明了方向。
引用
@article{arxiv.2410.19453,
title = {ShifCon: Enhancing Non-Dominant Language Capabilities with a Shift-based Multilingual Contrastive Framework},
author = {Hengyuan Zhang and Chenming Shang and Sizhe Wang and Dongdong Zhang and Yiyao Yu and Feng Yao and Renliang Sun and Yujiu Yang and Furu Wei},
journal= {arXiv preprint arXiv:2410.19453},
year = {2025}
}
备注
Accepted by ACL 2025