SoftQE：由 LLM 扩展查询的学习表示
计算与语言
2024-02-21 v1 信息检索
机器学习
摘要
我们研究了将大型语言模型（LLM）集成到查询编码器中，通过避免在推理时对 LLM 的依赖，在不增加延迟和成本的情况下改进密集检索。SoftQE 通过将输入查询的嵌入映射到 LLM 扩展查询的嵌入，从而融入 LLM 的知识。尽管在域内 MS-MARCO 指标上相对于各种强基线的改进微乎其微，但在五个域外 BEIR 任务中，SoftQE 平均提高了 2.83 个绝对百分点的性能。
引用
@article{arxiv.2402.12663,
title = {SoftQE: Learned Representations of Queries Expanded by LLMs},
author = {Varad Pimpalkhute and John Heyer and Xusen Yin and Sameer Gupta},
journal= {arXiv preprint arXiv:2402.12663},
year = {2024}
}
备注
To be published in ECIR 2024 proceedings