基于大语言模型的文档级机器翻译
计算与语言
2023-10-25 v2 人工智能
摘要
诸如 ChatGPT 之类的大语言模型（LLMs）能够为各种自然语言处理（NLP）任务生成连贯、衔接、相关且流畅的回答。本文以文档级机器翻译（MT）为试验平台，对 LLMs 的语篇建模能力进行了深入评估。研究聚焦于三个方面：1）上下文感知提示的效果，我们探究不同提示对文档级翻译质量和语篇现象的影响；2）翻译模型的比较，我们将 ChatGPT 的翻译性能与商业 MT 系统以及先进的文档级 MT 方法进行比较；3）语篇建模能力的分析，我们进一步探查 LLMs 中编码的语篇知识，并阐明训练技术对语篇建模的影响。通过在多个基准上的评估，我们惊讶地发现 LLMs 已展现出优越性能，并显示出成为文档级翻译新范式的潜力：1）利用其强大的长文本建模能力，GPT-3.5 和 GPT-4 在人工评估方面优于商业 MT 系统；2）GPT-4 比 GPT-3.5 展现出更强的探查语言知识的能力。本工作凸显了 LLMs 用于 MT 的挑战与机遇，我们希望这能启发未来 LLMs 的设计与评估。我们在 https://github.com/longyuewangdcu/Document-MT-LLM 发布了我们的数据与标注。
引用
@article{arxiv.2304.02210,
title = {Document-Level Machine Translation with Large Language Models},
author = {Longyue Wang and Chenyang Lyu and Tianbo Ji and Zhirui Zhang and Dian Yu and Shuming Shi and Zhaopeng Tu},
journal= {arXiv preprint arXiv:2304.02210},
year = {2023}
}
备注
Longyue Wang, Chenyang Lyu, Tianbo Ji, Zhirui Zhang are equal contributors