DIVE：基于自限制梯度更新的嵌入压缩
计算与语言
2026-05-21 v1 人工智能
信息检索
机器学习
摘要
大型语言模型生成的高维嵌入对向量检索系统构成显著的存储和计算成本。最近的嵌入压缩方法，包括 Matryoshka-Adaptor（EMNLP 2024）、Search-Adaptor（ACL 2024）和 SMEC（EMNLP 2025），通过轻量级残差适配器实现维度降低，但其训练目标在标注数据稀缺时导致严重过拟合，使检索性能低于冻结基线。我们提出了 \textsc{DIVE}（\textbf{D}imensionality reduction with \textbf{I}mplicit \textbf{V}iew \textbf{E}nsembles），一种通过两种机制解决此问题的压缩适配器。首先，基于自限制 hinge 三角损失在三角形满足间隔约束时产生零梯度，限制对预训练嵌入空间施加的总扰动。其次，基于头级 NT-Xent 对比损失将每个嵌入的多个学习投影视为隐式视图，提供稠密的自监督梯度，以补偿小数据集上三角信号的稀疏性。在六个 BEIR 数据集上，\textsc{DIVE} 在所有数据集和所有评估的压缩比率上均优于三个基线适配器，并提供 14M 参数的开源实现。
关键词
引用
@article{arxiv.2605.20689,
title = {DIVE: Embedding Compression via Self-Limiting Gradient Updates},
author = {Dongfang Zhao},
journal= {arXiv preprint arXiv:2605.20689},
year = {2026}
}