剖析 GPT 中翻译的上下文学习
计算与语言
2023-10-25 v1 人工智能
摘要
近期利用 GPT-3 等大型语言模型（LLM）进行机器翻译（MT）的工作大多聚焦于为提示选择少样本样例。本工作中，我们通过对高质量领域内演示进行扰动，试图更好地理解演示属性在翻译上下文学习中的作用。我们发现源-目标映射的非对称扰动产生截然不同的结果。我们表明，对源端的扰动影响出奇地小，而对目标端的扰动会急剧降低翻译质量，说明在翻译的上下文学习中，是输出文本分布提供了最重要的学习信号。我们提出一种名为 Zero-Shot-Context 的方法，在零样本提示中自动添加该信号。我们证明它改进了 GPT-3 的零样本翻译性能，甚至使其可与少样本提示翻译相竞争。
引用
@article{arxiv.2310.15987,
title = {Dissecting In-Context Learning of Translations in GPTs},
author = {Vikas Raunak and Hany Hassan Awadalla and Arul Menezes},
journal= {arXiv preprint arXiv:2310.15987},
year = {2023}
}
备注
EMNLP Findings (+ Minor Updates over Camera-Ready)