基于大语言模型的人机协同机器翻译
计算与语言
2023-10-16 v1
摘要
大语言模型（LLM）因其上下文学习机制与涌现能力而备受关注。研究界已开展若干试点研究将 LLM 应用于机器翻译任务，并从多视角评估其性能。然而，先前研究主要聚焦于 LLM 本身，尚未探索人类对 LLM 推理过程的干预。LLM 的上下文学习与提示工程等特性密切映射人类在语言任务中的认知能力，为人机协同生成提供了直观方案。在本研究中，我们提出一种人机协同流程，以修订指令引导 LLM 生成定制化输出。该流程首先提示 LLM 产出草稿译文，随后利用自动检索或人类反馈作为监督信号，通过上下文学习增强 LLM 的翻译。此流程中产生的人机交互亦存储于外部数据库以扩充上下文检索库，使我们在离线环境下也能利用人类监督。我们使用 GPT-3.5-turbo API 在五个领域特定的德英翻译基准上评估所提流程。结果证明了该流程在定制领域内翻译及相比直接翻译提升翻译性能方面的有效性。此外，我们从以下视角讨论结果：1）不同上下文检索方法的有效性；2）低资源场景下检索库的构建；3）观测到的领域差异；4）语言统计的定量分析；5）翻译案例的定性分析。代码与数据见 https://github.com/NLP2CT/HIL-MT/。
引用
@article{arxiv.2310.08908,
title = {Human-in-the-loop Machine Translation with Large Language Model},
author = {Xinyi Yang and Runzhe Zhan and Derek F. Wong and Junchao Wu and Lidia S. Chao},
journal= {arXiv preprint arXiv:2310.08908},
year = {2023}
}
备注
Accepted to MT Summit 2023