中文

TasTe:通过自我反思教导大型语言模型进行翻译

计算与语言 2024-06-13 v1 人工智能

摘要

大型语言模型在各种自然语言处理任务中展现出卓越的性能。指令微调等技术有效提升了LLM在机器翻译下游任务中的能力。然而,现有方法未能产生与有监督神经机器翻译系统质量相匹配的令人满意的翻译输出。对此差异的一个合理解释是,这些方法中使用的简单提示无法充分利用已习得的指令遵循能力。为此,我们提出了TasTe框架,即通过自我反思进行翻译。自我反思过程包括两个推理阶段。在第一阶段,LLM被指示生成初步翻译,并同时对这些翻译进行自我评估。在第二阶段,LLM的任务是根据评估结果改进这些初步翻译。在WMT22基准测试的四个语言方向上的评估结果表明,与现有方法相比,我们的方法是有效的。我们的工作为释放LLM的潜力并增强其在机器翻译中的能力提供了一种有前景的方法。代码和数据集已在https://github.com/YutongWang1216/ReflectionLLMMT开源。

关键词

引用

@article{arxiv.2406.08434,
  title  = {TasTe: Teaching Large Language Models to Translate through Self-Reflection},
  author = {Yutong Wang and Jiali Zeng and Xuebo Liu and Fandong Meng and Jie Zhou and Min Zhang},
  journal= {arXiv preprint arXiv:2406.08434},
  year   = {2024}
}

备注

This paper has been accepted to the ACL 2024 main conference