重新发现哈希随机投影用于上下文句子嵌入的高效量化
计算与语言
2023-05-17 v2
摘要
由于计算限制，在边缘设备上进行训练和推理通常需要高效的设置。虽然预先计算数据表示并将其缓存在服务器上可以减轻边缘设备的大量计算，但这带来了两个挑战。首先，服务器上所需的存储量随实例数量线性增长。其次，向边缘设备发送大量数据所需的带宽。为了减少预计算数据表示的存储占用，我们提出了一种简单而有效的方法，使用随机初始化的超平面投影。为了将其大小进一步减少多达98.96%，我们将得到的浮点表示量化为二值向量。尽管尺寸大幅减小，我们表明这些嵌入对于在各种英语和德语句子分类任务上训练模型仍然有效，保留了其浮点表示的94%--99%的性能。
引用
@article{arxiv.2304.02481,
title = {Rediscovering Hashed Random Projections for Efficient Quantization of Contextualized Sentence Embeddings},
author = {Ulf A. Hamster and Ji-Ung Lee and Alexander Geyken and Iryna Gurevych},
journal= {arXiv preprint arXiv:2304.02481},
year = {2023}
}