大语言模型用于低资源翻译的局限：检索与理解都是问题
计算与语言
2024-10-28 v3 人工智能
机器学习
摘要
本工作探讨了预训练大型语言模型 (LLM) 在被指示将文本从低资源语言翻译成高资源语言时，其零样本学习能力。我们对将南美奇瓦拉语翻译成西班牙语的实验进行了一系列实验，检验了各种类型上下文（词形翻译、语法描述和语料示例）从受限数据库（数字化教学材料，包括词典和语法课堂）和平行语料库中检索到的上下文信息的可信度。通过自动和人类评估模型输出，我们进行了消融研究，操作变量包括 (1) 上下文类型（词形翻译、语法描述和语料示例）、(2) 检索方法（自动 vs. 手动）以及 (3) 模型类型。我们的结果表明，即使是相对较小的 LLM，也能够在提供足够相关 linguistic 信息后，利用提示上下文进行零样本低资源翻译。然而，上下文类型、检索方法、模型类型以及语言特定因素的差异化影响凸显了即使是最佳 LLM 作为大多数世界 7000 多种语言及其使用者的翻译系统的局限性。
引用
@article{arxiv.2406.15625,
title = {Shortcomings of LLMs for Low-Resource Translation: Retrieval and Understanding are Both the Problem},
author = {Sara Court and Micha Elsner},
journal= {arXiv preprint arXiv:2406.15625},
year = {2024}
}
备注
Presented at the Ninth Conference on Machine Translation (WMT24)