神经机器翻译中Transformer的异构编码器扩展
计算与语言
2024-01-02 v1
摘要
尽管Transformer目前在神经机器翻译的同构配置（仅自注意力）中表现最佳，但自然语言处理中的许多最先进模型由不同深度学习方法的组合构成。然而，这些模型通常只关注结合少数几种技术，且不清楚为何选择某些方法而非其他。在这项工作中，我们研究了集成越来越多异构方法的有效性。基于简单的组合策略和性能驱动的协同准则，我们设计了多编码器Transformer，它由多达五个不同的编码器组成。结果表明，我们的方法能够提高多种语言和数据集规模下的翻译质量，并且在低资源语言中特别有效，与单编码器模型相比，我们观察到最大提升了7.16 BLEU。
引用
@article{arxiv.2312.15872,
title = {Heterogeneous Encoders Scaling In The Transformer For Neural Machine Translation},
author = {Jia Cheng Hu and Roberto Cavicchioli and Giulia Berardinelli and Alessandro Capotondi},
journal= {arXiv preprint arXiv:2312.15872},
year = {2024}
}