回声状态神经机器翻译
计算与语言
2020-02-28 v1 机器学习
神经与进化计算
摘要
我们提出受回声状态网络（ESN）启发的神经机器翻译（NMT）模型，命名为回声状态 NMT（ESNMT），其中编码器与解码器层权重随机生成并在整个训练中固定。我们表明，即使采用这种极其简单的模型构建与训练流程，ESNMT 已能达到完全可训练基线 70-80% 的质量。我们考察了表征该模型的关键量——储备池谱半径如何决定模型行为。我们的发现表明，即便对于复杂的序列到序列预测 NLP 任务，随机网络也能表现良好。
引用
@article{arxiv.2002.11847,
title = {Echo State Neural Machine Translation},
author = {Ankush Garg and Yuan Cao and Qi Ge},
journal= {arXiv preprint arXiv:2002.11847},
year = {2020}
}