面向孟加拉语的跨语言检索增强上下文学习
计算与语言
2023-12-05 v2
摘要
大型语言模型(LLMs)在自然语言处理中的前景常因其低资源语言(如孟加拉语)上的有限表现而被掩盖。为此,本文提出了一种利用跨语言检索增强上下文学习的开创性方法。通过从高资源语言中策略性地获取语义相似的提示,我们使多语言预训练语言模型(MPLMs),尤其是生成模型 BLOOMZ,能够成功提升在孟加拉语任务上的表现。我们广泛的评估表明,跨语言检索增强提示相比零样本表现给 MPLMs 带来了稳定的改进。
引用
@article{arxiv.2311.00587,
title = {Crosslingual Retrieval Augmented In-context Learning for Bangla},
author = {Xiaoqian Li and Ercong Nie and Sheng Liang},
journal= {arXiv preprint arXiv:2311.00587},
year = {2023}
}
备注
In The 1st Bangla Language Processing (BLP) Workshop, held in conjunction with The Conference on Empirical Methods in Natural Language Processing (EMNLP), December 2023