用大语言模型改进机器翻译：基于协同解码的初步研究
计算与语言
2024-05-28 v2
摘要
基于编码器-解码器框架的当代翻译引擎已取得显著发展。然而，大语言模型（LLM）的出现以其实现更优翻译质量的潜力打破了其地位。为揭示 LLM 表现出色的情境并探索如何借其优势提升翻译质量，我们首先进行全面分析以评估各类商业 NMT 系统与面向 MT 的 LLM 的优劣。我们发现，单独 NMT 或面向 MT 的 LLM 均无法有效解决所有翻译问题，但面向 MT 的 LLM 有望作为 NMT 系统的补充方案。基于上述见解，我们提出协同解码（CoDec），将 NMT 系统视为预翻译模型，将面向 MT 的 LLM 视为处理超出 NMT 单独能力的复杂场景的补充方案。在 WMT22 测试集与新收集测试集 WebCrawl 上的实验结果证明了 CoDec 的有效性与高效性，凸显其作为机器翻译领域结合 NMT 系统与面向 MT 的 LLM 的稳健方案的潜力。
引用
@article{arxiv.2311.02851,
title = {Improving Machine Translation with Large Language Models: A Preliminary Study with Cooperative Decoding},
author = {Jiali Zeng and Fandong Meng and Yongjing Yin and Jie Zhou},
journal= {arXiv preprint arXiv:2311.02851},
year = {2024}
}
备注
ACL2024 findings