PEFA：面向大规模基于嵌入的检索模型的无参数适配器
信息检索
2023-12-07 v2 机器学习
摘要
得益于强大的大型语言模型，基于嵌入的检索模型（ERM）已成为解决大规模文本检索问题的一种极具前景的框架。然而，由于数据的极大规模以及多阶段流水线（例如，预训练、微调、蒸馏）的复杂性，微调 ERM 以达到 SOTA 结果的成本可能非常高昂。在本工作中，我们提出了 PEFA 框架，即无参数适配器，用于在优化过程中无需任何反向传播的情况下快速调优 ERM。在索引构建阶段，PEFA 为 ERM 配备了一个非参数 k 近邻（kNN）组件。在推理阶段，PEFA 对两个评分函数执行凸组合，其中一个来自 ERM，另一个来自 kNN。基于邻域定义，PEFA 框架衍生出两种实现，即使用双重 ANN 索引的 PEFA-XL（即超大）和使用单一 ANN 索引的 PEFA-XS（即超小）。根据实验，PEFA 在两个检索应用中均取得了显著提升。在文档检索中，就 Recall@100 指标而言，PEFA 不仅在 Trivia-QA 上将预训练 ERM 平均提升了 13.2%，还在 NQ-320K 上将微调 ERM 平均提升了 5.5%。在商品搜索中，PEFA-XS 和 PEFA-XL 分别将微调 ERM 的 Recall@100 平均提升了 5.3% 和 14.5%。我们的代码可在 https://github.com/amzn/pecos/tree/mainline/examples/pefa-wsdm24 获取。
引用
@article{arxiv.2312.02429,
title = {PEFA: Parameter-Free Adapters for Large-scale Embedding-based Retrieval Models},
author = {Wei-Cheng Chang and Jyun-Yu Jiang and Jiong Zhang and Mutasem Al-Darabsah and Choon Hui Teo and Cho-Jui Hsieh and Hsiang-Fu Yu and S. V. N. Vishwanathan},
journal= {arXiv preprint arXiv:2312.02429},
year = {2023}
}
备注
Accept by WSDM 2024