编码器-解码器对于神经机器翻译而言是冗余的吗？
计算与语言
2022-10-24 v1 人工智能
机器学习
摘要
编码器-解码器架构被广泛用于序列到序列建模任务。在机器翻译中，尽管从长短期记忆网络演进到Transformer网络，加上注意力机制的引入和发展，编码器-解码器仍是最先进模型事实上的神经网络架构。虽然从某些隐空间解码信息的动机直观明了，但在模型架构中将编码和解码步骤严格分离为编码器和解码器未必是必须的。相比于目标语言中的自回归语言建模任务，机器翻译仅仅是额外将源句子作为上下文。鉴于当今神经语言模型已经能够处理目标语言中相当长的上下文，自然地会问：是否只需将源句和目标句拼接起来并训练一个语言模型来进行翻译即可。在本工作中，我们研究了上述机器翻译概念。具体而言，我们在双语翻译、加入额外目标语言单语数据的翻译以及多语翻译中进行了实验。在所有情况下，这一替代方法的性能都与基线编码器-解码器Transformer相当，表明编码器-解码器架构对于神经机器翻译可能是冗余的。
引用
@article{arxiv.2210.11807,
title = {Is Encoder-Decoder Redundant for Neural Machine Translation?},
author = {Yingbo Gao and Christian Herold and Zijian Yang and Hermann Ney},
journal= {arXiv preprint arXiv:2210.11807},
year = {2022}
}
备注
accepted at AACL2022