MetaXLR——基于多臂_bandit的面向低资源跨语言学习的混合语言元表示变换
计算与语言
2023-06-02 v1
摘要
极极低资源语言的迁移学习是一项具有挑战性的任务，因为既无大规模单语语料用于预训练，也无充足标注数据用于微调。我们延续MetaXL的工作，其建议利用元学习实现从单一源语言到极极低资源语言的迁移学习。我们提出一种增强方法，以数据驱动方式选取多个源语言。此外，我们引入一种利用多臂_bandit（multi-armed bandit）算法的样本选择策略来在训练中运用这些语言。借助这两项改进，我们在相同数据量下于极极低资源语言的NER任务上取得了SOTA结果，使表示具有更好的泛化性。同时，由于该方法能够使用多种语言，框架可利用更大量的数据，且即便在数据量相同的情况下仍优于先前的MetaXL方法。
引用
@article{arxiv.2306.00100,
title = {MetaXLR -- Mixed Language Meta Representation Transformation for Low-resource Cross-lingual Learning based on Multi-Armed Bandit},
author = {Liat Bezalel and Eyal Orgad},
journal= {arXiv preprint arXiv:2306.00100},
year = {2023}
}