自动调整 Transformer 网络规模：提升低资源机器翻译的速度、效率与性能
计算与语言
2019-10-16 v1 机器学习
机器学习
摘要
神经序列到序列模型，尤其是 Transformer，是机器翻译中的当前最优(state of the art)方法。然而这些神经网络对架构与超参数设置非常敏感。通过网格或随机搜索优化这些设置计算代价高昂，因为需要多次训练运行。在本文中，我们通过自动调整规模(auto-sizing)将架构搜索融入单次训练运行中，其利用正则化在训练过程中删除网络中的神经元。在极低资源语言对上，我们表明自动调整规模能在从模型中移除三分之一参数的同时，将 BLEU 分数提升多达 3.9 点。
引用
@article{arxiv.1910.06717,
title = {Auto-Sizing the Transformer Network: Improving Speed, Efficiency, and Performance for Low-Resource Machine Translation},
author = {Kenton Murray and Jeffery Kinnison and Toan Q. Nguyen and Walter Scheirer and David Chiang},
journal= {arXiv preprint arXiv:1910.06717},
year = {2019}
}
备注
The 3rd Workshop on Neural Generation and Translation (WNGT 2019)