雇佣语言学家！：利用上下文语言描述学习濒危语言
计算与语言
2024-11-13 v2
摘要
大型语言模型（LLMs）如何处理和翻译濒危语言？许多语言缺乏足够大的语料库来训练像样的LLM；因此现有的LLM在未见过的濒危语言上表现不佳。相反，我们观察到2000种濒危语言虽然缺乏大型语料库，但拥有语法书或词典。我们提出LINGOLLM，一种无需训练的方法，使LLM能够处理在其预训练中几乎不出现的未见语言。我们的关键见解是在LLM的提示中展示未见语言的语言学知识，包括词典、语法书和经过形态分析的输入文本。我们在两个模型GPT-4和Mixtral上实现了LINGOLLM，并在8种濒危或低资源语言的5个任务上评估了其性能。我们的结果表明，LINGOLLM将GPT-4在10个语言方向上的翻译能力从0 BLEU提升到10.5 BLEU。我们的发现证明了在LLM时代语言学知识对濒危语言的巨大价值。我们的数据、代码和模型生成结果可在https://github.com/LLiLab/llm4endangeredlang获取。
引用
@article{arxiv.2402.18025,
title = {Hire a Linguist!: Learning Endangered Languages with In-Context Linguistic Descriptions},
author = {Kexun Zhang and Yee Man Choi and Zhenqiao Song and Taiqi He and William Yang Wang and Lei Li},
journal= {arXiv preprint arXiv:2402.18025},
year = {2024}
}