ChatGPT 是一个好的翻译器吗？以 GPT-4 为引擎时是
计算与语言
2023-11-03 v4
摘要
本报告对 ChatGPT 在机器翻译方面的表现进行了初步评估，涵盖翻译提示、多语言翻译与翻译鲁棒性。我们采用 ChatGPT 建议的提示来激发其翻译能力，发现候选提示总体表现良好，性能差异较小。通过在多个基准测试集上评估，我们发现 ChatGPT 在高资源欧洲语言上与商业翻译产品（如 Google 翻译）具有竞争力，但在低资源或远距离语言上明显落后。在翻译鲁棒性方面，ChatGPT 在生物医学摘要或 Reddit 评论上表现不如商业系统，但在口语上结果良好。此外，我们探索了一种针对远距离语言的有趣策略，称为 pivot prompting（枢纽提示），即要求 ChatGPT 先将源句翻译为高资源枢纽语言，再译为目标语言，显著提升了翻译性能。随着 GPT-4 引擎的发布，ChatGPT 的翻译性能显著提升，即便对远距离语言也已可与商业翻译产品相媲美。对 Google 翻译与 ChatGPT 的人工分析表明，采用 GPT-3.5 的 ChatGPT 更易产生幻觉与误译错误，而采用 GPT-4 的版本错误最少。换言之，ChatGPT 已经成为一个良好的翻译器。更多细节请参考我们的 Github 项目：https://github.com/wxjiao/Is-ChatGPT-A-Good-Translator
引用
@article{arxiv.2301.08745,
title = {Is ChatGPT A Good Translator? Yes With GPT-4 As The Engine},
author = {Wenxiang Jiao and Wenxuan Wang and Jen-tse Huang and Xing Wang and Shuming Shi and Zhaopeng Tu},
journal= {arXiv preprint arXiv:2301.08745},
year = {2023}
}
备注
Analyzed/compared the outputs between ChatGPT and Google Translate; both automatic and human evaluation