通过子空间嵌入对神经语言模型进行轻量级适配
计算与语言
2023-08-21 v1 人工智能
摘要
传统的神经词嵌入通常依赖于更丰富的词汇多样性。然而，语言模型倾向于通过词嵌入参数覆盖主要词汇，特别是对于多语言语言模型，其词嵌入通常占整体学习参数的很大一部分。在这项工作中，我们提出了一种新的紧凑嵌入结构，以牺牲最高 4% 的绝对精度为代价，减少预训练语言模型的内存占用。嵌入向量的重建遵循一组子空间嵌入以及通过预训练语言模型中 token 间的上下文关系进行的分配过程。子空间嵌入结构针对掩码语言模型进行校准，以在相似性和文本蕴含任务、句子和释义任务上评估我们的紧凑嵌入结构。我们的实验评估表明，在 XNLI 和 GLUE 基准套件上，与语言模型的原始嵌入相比，子空间嵌入实现了超过 99.8% 的压缩率。
引用
@article{arxiv.2308.08688,
title = {Lightweight Adaptation of Neural Language Models via Subspace Embedding},
author = {Amit Kumar Jaiswal and Haiming Liu},
journal= {arXiv preprint arXiv:2308.08688},
year = {2023}
}
备注
5 pages, Accepted as a Main Conference Short Paper at CIKM 2023