用于零样本上下文内机器翻译的 Anti-LM 解码

零样本上下文内学习是指模型仅给定指令即可执行任务的现象。然而，已知预训练大语言模型（LLM）在此任务上校准不佳。处理该偏置最有效方法之一是采用对比解码目标，其通过基于某些上下文的条件来考量生成下一词元（token）的先验概率。本工作引入了一种带有衰减因子的 Anti-Language Model 目标，旨在解决上下文内机器翻译的弱点。我们在 3 种模型类型与规模、3 个语言方向，以及贪心解码和束搜索（$B=5$）上进行了实验。所提方法优于其他最先进的解码目标，在某些设置下相较默认目标观察到高达 $20$ 个 BLEU 点的提升。