EELBERT：通过动态嵌入实现微小模型
计算与语言
2023-11-01 v1 人工智能
机器学习
摘要
我们提出 EELBERT，一种用于压缩基于 transformer 的模型（如 BERT）的方法，对下游任务准确率影响极小。这是通过用动态的（即即时计算的）嵌入计算替换模型的输入嵌入层来实现的。由于输入嵌入层占据模型大小的显著部分，尤其是对于较小的 BERT 变体，用嵌入计算函数替换该层有助于我们大幅减小模型大小。在 GLUE 基准上的实证评估表明，我们的 BERT 变体（EELBERT）相比传统 BERT 模型仅有极小回归。通过该方法，我们得以开发出最小的模型 UNO-EELBERT，其在 GLUE 分数上达到完全训练的 BERT-tiny 的 4% 以内，而大小减小为 15 倍（1.2 MB）。
引用
@article{arxiv.2310.20144,
title = {EELBERT: Tiny Models through Dynamic Embeddings},
author = {Gabrielle Cohn and Rishika Agarwal and Deepanshu Gupta and Siddharth Patwardhan},
journal= {arXiv preprint arXiv:2310.20144},
year = {2023}
}
备注
EMNLP 2023, Industry Track 9 pages, 2 figures, 5 tables