轻量稠密检索器食用 KALE：面向非对称双编码器的嵌入后训练 Kullback-Leibler 对齐
计算与语言
2023-06-05 v3 人工智能
信息检索
摘要
本文考虑通过引入上下文与查询编码器间的结构压缩与模型规模非对称，改善基于语言模型的稠密检索系统的推理延迟问题。首先，我们考察预训练与后训练压缩在 MSMARCO、Natural Questions、TriviaQA、SQUAD 及 SCIFACT 上的影响，发现稠密检索中双编码器的非对称性可带来推理效率提升。基于此，我们提出嵌入的 Kullback-Leibler 对齐（KALE），一种通过训练后剪枝与对齐查询编码器来提高稠密检索方法推理效率的准确高效方法。具体而言，KALE 在双编码器训练后扩展传统知识蒸馏，无需完整重训练或索引生成即可实现查询编码器有效压缩。利用 KALE 与非对称训练，我们生成的模型在推理速度提升 3 倍的同时性能超越 DistilBERT。
引用
@article{arxiv.2304.01016,
title = {Quick Dense Retrievers Consume KALE: Post Training Kullback Leibler Alignment of Embeddings for Asymmetrical dual encoders},
author = {Daniel Campos and Alessandro Magnani and ChengXiang Zhai},
journal= {arXiv preprint arXiv:2304.01016},
year = {2023}
}
备注
SustaiNLP2023 @ ACL 2023, 8 pages, 4 figures, 30 tables