INSTRUCTIR：信息检索模型指令遵循基准
计算与语言
2024-02-23 v1
摘要
尽管将搜索目标与用户意图对齐至关重要，但检索器往往只优先考虑查询信息，而未深入探究用户预期的搜索上下文。增强检索器理解用户意图和偏好的能力（类似于语言模型指令），有望产生更对齐的搜索目标。先前的研究将指令在信息检索中的应用局限于任务描述格式，忽视了多样且不断演变的搜索场景的更广泛背景。此外，目前用于评估的主流基准缺乏针对指令遵循能力的明确定制，从而阻碍了该领域的进展。针对这些局限性，我们提出了一个新颖的基准 INSTRUCTIR，专门设计用于评估信息检索任务中的指令遵循能力。我们的方法专注于针对每个查询实例定制的用户对齐指令，反映了现实世界搜索场景中固有的多样化特征。通过实验分析，我们观察到，经过微调以遵循任务风格指令（如 INSTRUCTOR）的检索器，其表现可能不如未经指令微调的对应模型。这突显了在基于现有指令感知检索数据集构建检索器时固有的潜在过拟合问题。
引用
@article{arxiv.2402.14334,
title = {INSTRUCTIR: A Benchmark for Instruction Following of Information Retrieval Models},
author = {Hanseok Oh and Hyunji Lee and Seonghyeon Ye and Haebin Shin and Hansol Jang and Changwook Jun and Minjoon Seo},
journal= {arXiv preprint arXiv:2402.14334},
year = {2024}
}