面向低资源语言的跨语言迁移学习统一方法——UniBridge

Trinh Pham; Khoi M. Le; Luu Anh Tuan

面向低资源语言的跨语言迁移学习统一方法——UniBridge

计算与语言 2024-08-22 v3

作者: Trinh Pham , Khoi M. Le , Luu Anh Tuan

摘要

本文介绍UniBridge（Cross-Lingual Transfer Learning with Optimized Embeddings and Vocabulary），一种为改进跨语言迁移学习效果而制定的综合方法，尤其针对资源有限的语言。我们的ethods 解决了语言模型中的两个关键要素：嵌入的初始化和最优词汇大小。具体而言，我们提出了一种新颖的嵌入初始化方法，利用该语言的词汇和语义对齐进行初始化。此外，我们提出了一种系统性搜索最优词汇大小的方法，确保模型复杂度与语言覆盖之间的平衡。我们在多语言数据集上的实验表明，该方法在多个语言中显著提高了F1分数。UniBridge是一种稳健且可适应的解决方案，适用于各种语言的跨语言系统，凸显了在跨语言环境中初始化嵌入和选择正确词汇大小的重要性。

关键词

跨语言迁移学习嵌入初始化词汇优化低资源语言词汇对齐语义对齐

引用

@article{arxiv.2406.09717,
  title  = {UniBridge: A Unified Approach to Cross-Lingual Transfer Learning for Low-Resource Languages},
  author = {Trinh Pham and Khoi M. Le and Luu Anh Tuan},
  journal= {arXiv preprint arXiv:2406.09717},
  year   = {2024}
}

备注

First two authors contribute equally. Accepted at ACL 2024

面向低资源语言的跨语言迁移学习统一方法——UniBridge

摘要

关键词

引用

备注

相关论文