用于机器翻译的全量化 Transformer
计算与语言
2020-03-24 v3 机器学习
机器学习
摘要
最先进的神经机器翻译方法使用了海量参数。在迄今未能不影响性能的前提下大幅降低此类方法的计算成本。为此，我们提出 FullyQT：一种针对 Transformer 的全方位量化策略。据我们所知，我们首次表明有可能通过全量化 Transformer 避免翻译质量上的任何损失。事实上，相较于全精度，我们的 8 位模型在大多数任务上取得大于或等于的 BLEU 分数。与所有先前提出的方法相比，我们取得了最先进的量化结果。
引用
@article{arxiv.1910.10485,
title = {Fully Quantized Transformer for Machine Translation},
author = {Gabriele Prato and Ella Charlaix and Mehdi Rezagholizadeh},
journal= {arXiv preprint arXiv:1910.10485},
year = {2020}
}