二值化神经机器翻译
计算与语言
2023-12-12 v1 机器学习
摘要
语言模型的快速扩展正推动使用低比特量化的研究。在这项工作中，我们提出了一种应用于机器翻译的 Transformer 二值化技术（BMT），属同类首创。我们识别并解决了使用一位权重和激活时点积方差膨胀的问题。具体而言，BMT 利用额外的 LayerNorm 与残差连接来改善二值化质量。在 WMT 数据集上的实验表明，仅权重为一位的 Transformer 可达到与浮点模型相同的质量，而体积缩小 16 倍。一位激活会导致不同程度的质量下降，但可通过所提出的架构改动缓解。我们进一步使用生产规模的翻译数据集进行了缩放定律研究，表明一位权重 Transformer 在域内与域外设置中均能良好地缩放与泛化。基于 JAX/Flax 的实现将开源。
引用
@article{arxiv.2302.04907,
title = {Binarized Neural Machine Translation},
author = {Yichi Zhang and Ankush Garg and Yuan Cao and Łukasz Lew and Behrooz Ghorbani and Zhiru Zhang and Orhan Firat},
journal= {arXiv preprint arXiv:2302.04907},
year = {2023}
}