用于同声传译的仅解码器流式Transformer

同声传译在读取源语言词元的同时生成翻译，本质上基于源语言前缀生成目标语言前缀。为了获得良好性能，它利用源语言和目标语言前缀之间的关系来提取策略，以指导翻译的生成。尽管现有的同声传译方法主要关注编码器-解码器架构，但由于仅解码器架构在各种任务中的优越性能及其与同声传译的固有兼容性，我们探索了其潜力。然而，将仅解码器架构直接应用于同声传译在训练和推理方面带来了挑战。为了缓解上述问题，我们提出了第一个仅解码器同声传译模型，命名为仅解码器流式Transformer。具体来说，DST分别编码源语言和目标语言前缀的位置，确保目标语言前缀的位置不受源语言前缀扩展的影响。此外，我们提出了一种专为仅解码器架构设计的流式自注意力机制。它能够通过评估输入源信息的充分性来获取翻译策略，并与软注意力机制集成以生成翻译。实验表明，我们的方法在三个翻译任务上取得了最先进的性能。