BinaryBERT：将 BERT 量化的极限推向二值化
计算与语言
2021-07-23 v2
摘要
大型预训练语言模型的快速发展极大地增加了对模型压缩技术的需求，其中量化是一种流行的解决方案。在本文中，我们提出 BinaryBERT，通过权重二值化将 BERT 量化推向极限。我们发现，由于其复杂且不规律的损失景观，二值 BERT 比三值对应模型更难直接训练。因此，我们提出三值权重拆分，通过从一半大小的三值网络等价拆分来初始化 BinaryBERT。该二值模型由此继承了三值模型的良好性能，并可在拆分后通过微调新架构进一步增强。实证结果表明，与全精度模型相比，我们的 BinaryBERT 仅有轻微性能下降，同时体积小 24 倍，在 GLUE 和 SQuAD 基准上取得了最先进的压缩结果。
引用
@article{arxiv.2012.15701,
title = {BinaryBERT: Pushing the Limit of BERT Quantization},
author = {Haoli Bai and Wei Zhang and Lu Hou and Lifeng Shang and Jing Jin and Xin Jiang and Qun Liu and Michael Lyu and Irwin King},
journal= {arXiv preprint arXiv:2012.15701},
year = {2021}
}