Neutron:Transformer 翻译模型及其变体的实现
计算与语言
2020-03-23 v2
摘要
与循环 seq2seq 模型相比,Transformer 翻译模型更易于并行化且提供更好的性能,这使得它在工业界和研究界中广受欢迎。我们在本工作中实现了 Neutron,包括 Transformer 模型以及来自近期多项研究的若干变体。它经过高度优化、易于修改,并在保持可读性的同时以有趣的特性提供了可比的性能。
引用
@article{arxiv.1903.07402,
title = {Neutron: An Implementation of the Transformer Translation Model and its Variants},
author = {Hongfei Xu and Qiuhui Liu},
journal= {arXiv preprint arXiv:1903.07402},
year = {2020}
}