提示 PaLM 进行翻译：策略与性能评估
计算与语言
2023-06-27 v3
摘要
在未经过平行文本训练但经过多语言文本训练的大语言模型（LLM）展现出显著的跨语言翻译能力。我们在对 pathways 语言模型（PaLM）的深入研究中探究了这一能力，该模型在迄今同类训练的 LLM 中展现出最强的机器翻译（MT）性能。我们研究了为少样本提示选择翻译示例的各种策略，得出结论认为示例质量是最重要的因素。利用优化后的提示，我们使用更近期的测试集、现代 MT 指标和人工评估重新审视了先前对 PaLM 的 MT 能力的评估，发现其性能虽然令人印象深刻，但仍落后于最先进的监督系统。最后，我们通过对 PaLM 的 MT 输出进行分析，揭示了若干有趣的性质与未来工作的前景。
引用
@article{arxiv.2211.09102,
title = {Prompting PaLM for Translation: Assessing Strategies and Performance},
author = {David Vilar and Markus Freitag and Colin Cherry and Jiaming Luo and Viresh Ratnakar and George Foster},
journal= {arXiv preprint arXiv:2211.09102},
year = {2023}
}
备注
ACL 2023