中文

漂移适配器:向量数据库中近乎零停机嵌入模型升级的实用方法

机器学习 2025-09-30 v1 信息检索

摘要

在生产向量数据库中升级嵌入模型通常需要重新编码整个语料库并重建近似最近邻(ANN)索引,这会导致显著的运营中断和计算成本。本文提出了漂移适配器(Drift-Adapter),一种轻量级、可学习的转换层,用于桥接不同模型版本之间的嵌入空间。通过将新的查询映射到旧的嵌入空间,漂移适配器使现有的ANN索引继续使用,有效地延缓了完全重新计算的需求。我们系统评估了三种适配器参数化:正交普鲁克斯、低秩仿射和紧凑残差MLP,这些在小样本旧嵌入和新嵌入配对样本上进行训练。在MTEB文本语料库和CLIP图像模型升级(100万项目)上的实验表明,漂移适配器恢复了95-99%的检索召回率(Recall@10、MRR),查询延迟增加不到10微秒。相较于全重建或双索引服务等运营策略,漂移适配器将重计算成本降低超过100倍,实现了近乎零运营中断的升级。我们分析了对不同模型漂移、训练数据规模、百亿级系统的可扩展性以及诸如对角线缩放等设计选择的鲁棒性,表明漂移适配器作为一种务实的模型部署解决方案是可行的。

引用

@article{arxiv.2509.23471,
  title  = {Drift-Adapter: A Practical Approach to Near Zero-Downtime Embedding Model Upgrades in Vector Databases},
  author = {Harshil Vejendla},
  journal= {arXiv preprint arXiv:2509.23471},
  year   = {2025}
}

备注

EMNLP 2025 Main 12 pages, 6 figures