UniHGKR：统一的指令感异构知识检索器
信息检索
2025-02-12 v2 计算与语言
摘要
现有的信息检索（IR）模型通常假设知识来源和用户查询具有同质结构，这限制了其在检索本质上异构且多样化的实际场景中的适用性。本文提出了 UniHGKR，一个统一的指令感异构知识检索器，其 (1) 为异构知识构建统一的检索空间，(2) 遵循多样化的用户指令以检索指定类型的知识。UniHGKR 由三个主要阶段组成：异构自监督预训练、文本锚定嵌入对齐和指令感检索器微调，使其能够在各种检索上下文中泛化。该框架高度可扩展，包括基于 BERT 的版本和 7B 版本的 UniHGKR，均在大型语言模型上训练。我们还引入了 CompMix-IR，首个原生异构知识检索基准。它包含两种检索场景、各种指令、超过 9400 对 question-answer（QA）配对，以及包含四种不同类型数据的 1000 万条语料。大量实验表明，UniHGKR 在 CompMix-IR 上 consistently 优于最先进的方法，在两种场景中分别实现了最高可达 6.36% 和 54.23% 的相对改进。最后，通过为我们的检索器配备开放域异构 QA 系统，我们在热门 ConvMix 任务上实现了新的最先进结果，提升最高可达 5.90 分。
关键词
引用
@article{arxiv.2410.20163,
title = {UniHGKR: Unified Instruction-aware Heterogeneous Knowledge Retrievers},
author = {Dehai Min and Zhiyang Xu and Guilin Qi and Lifu Huang and Chenyu You},
journal= {arXiv preprint arXiv:2410.20163},
year = {2025}
}
备注
NAACL 2025, Main, Long Paper