QueEn：面向Quechua-English翻译的大语言模型
计算与语言
2024-12-09 v1 人工智能
摘要
近期研究表明，大语言模型(LLM)是处理自然语言的强大工具，推动了计算语言学领域的诸多进展。然而，这些模型在应用于资源匮乏语言时面临数据有限、难以理解文化细微差别的挑战。本文提出QueEn，一种 novel 的Quechua-English翻译方法，结合检索增强生成(Retrieval-Augmented Generation, RAG)与参数高效微调技术。该方法通过RAG利用外部语言资源，采用Low-Rank Adaptation(LoRA)实现高效模型适配。实验结果表明，我们的方法显著优于基线模型，BLEU得分达到17.6，而标准GPT模型仅为1.5。RAG与微调的集成使我们的系统能够在保持计算效率的同时，解决低资源语言翻译的挑战。本工作为通过先进语言技术保存濒危语言贡献了更广泛的目标。
引用
@article{arxiv.2412.05184,
title = {QueEn: A Large Language Model for Quechua-English Translation},
author = {Junhao Chen and Peng Shu and Yiwei Li and Huaqin Zhao and Hanqi Jiang and Yi Pan and Yifan Zhou and Zhengliang Liu and Lewis C Howe and Tianming Liu},
journal= {arXiv preprint arXiv:2412.05184},
year = {2024}
}