中文

adaptMLLM:利用集成 LLM 游乐场在低资源语言上微调多语言语言模型

计算与语言 2024-03-06 v1 人工智能

摘要

多语言语言模型(MLLMs)和大语言模型的出现激发了自然语言处理许多领域的创新。尽管该技术具有令人兴奋的潜力,但其在为低资源语言开发高质量机器翻译(MT)输出方面的影响仍相对未被充分探索。此外,目前尚无专门用于微调 MLLMs 并管理低资源语言完整 MT 工作流的开源应用程序。我们旨在通过开发 adaptMLLM 来解决这些不平衡问题,该应用简化了为 MT 微调 MLLMs 所涉及的所有流程。这款开源应用程序专为从事 MT 的开发人员、翻译人员和用户量身定制。直观的界面允许轻松定制超参数,该应用还提供一系列模型评估指标,并具备直接在应用内部署模型作为翻译服务的能力。作为一种多语言工具,我们使用 adaptMLLM 微调了两个低资源语言对的模型:英语到爱尔兰语(EN\leftrightarrowGA)和英语到马拉地语(EN\leftrightarrowMR)。与 LoResMT2021 Shared Task 的基线相比,adaptMLLM 系统展示了显著的改进。在 EN\rightarrowGA 方向上,观察到 BLEU 分数提高了 5.2 分;在 GA\rightarrowEN 方向上,记录了 40.5 BLEU 分数的增长。EN\leftrightarrowMR 语言对的翻译性能也观察到显著改进,特别是在 MR\rightarrowEN 方向上,BLEU 分数增加了 21.3 分。最后,使用多维质量指标和标量质量指标错误分类法,对 EN\rightarrowGA 语言对的 MLLM 输出进行了细粒度的人工评估。该应用程序和模型可免费获取。

关键词

引用

@article{arxiv.2403.02370,
  title  = {adaptMLLM: Fine-Tuning Multilingual Language Models on Low-Resource Languages with Integrated LLM Playgrounds},
  author = {Séamus Lankford and Haithem Afli and Andy Way},
  journal= {arXiv preprint arXiv:2403.02370},
  year   = {2024}
}