大语言模型是少样本上下文低资源语言学习者
计算与语言
2024-06-26 v5 人工智能
摘要
上下文学习（ICL）使大语言模型（LLMs）能够仅使用简短的上下文信息在代表性不足的语言中执行多种任务，为缩小高资源与低资源语言之间的差距提供了一条关键途径。然而，仅有少数工作探索了低资源语言的 ICL，且其中大多数聚焦于相对高资源的语言，如法语和西班牙语。在本工作中，我们在 25 种低资源语言和 7 种相对较高资源的语言上广泛研究了 ICL 及其跨语言变体（X-ICL）。我们的研究不仅评估了 LLMs 在低资源语言中使用 ICL 的有效性，还识别了上下文标签对齐的不足，并引入了一种更有效的替代方案：查询对齐。此外，我们为低资源语言 ICL 的各个方面提供了有价值的见解。我们的研究得出结论：少样本上下文信息通过弥合目标语言的语言差距并对齐目标低资源语言与模型精通的高资源语言之间的语义，利用语义相关信息来增强 LLMs 的低资源理解质量，具有重要意义。我们的工作凸显了推进 ICL 研究的必要性，尤其是针对低资源语言。我们的代码已公开发布于 https://github.com/SamuelCahyawijaya/in-context-alignment。
引用
@article{arxiv.2403.16512,
title = {LLMs Are Few-Shot In-Context Low-Resource Language Learners},
author = {Samuel Cahyawijaya and Holy Lovenia and Pascale Fung},
journal= {arXiv preprint arXiv:2403.16512},
year = {2024}
}