学习精确的整数 Transformer 机器翻译模型
机器学习
2021-05-17 v1 计算与语言
机器学习
摘要
我们描述了一种训练精确 Transformer 机器翻译模型的方法，使其使用 8 位整数（INT8）硬件矩阵乘法器进行推理，而非成本更高的单精度浮点（FP32）硬件。与先前工作仅将 133 个 Transformer 矩阵乘法中的 85 个转换为 INT8、因不可接受的精度损失而将其余 48 个保留为 FP32 不同，我们将它们全部转换为 INT8 且不损害精度。在 newstest2014 英德翻译任务上测试，我们的 INT8 Transformer Base 和 Transformer Big 模型所取得的 BLEU 分数相对于相应 FP32 模型的 99.3% 至 100%。我们的方法通过在训练期间自动进行范围-精度权衡，将现有 FP32 模型中的所有矩阵乘法张量转换为 INT8 张量。为证明该方法的鲁棒性，我们还给出了 INT6 Transformer 模型的结果。
引用
@article{arxiv.2001.00926,
title = {Learning Accurate Integer Transformer Machine-Translation Models},
author = {Ephrem Wu},
journal= {arXiv preprint arXiv:2001.00926},
year = {2021}
}