INTERS：通过指令微调解锁大语言模型在搜索中的能力
计算与语言
2024-05-29 v3 信息检索
摘要
大语言模型（LLMs）在各类自然语言处理任务中展现出令人瞩目的能力。尽管如此，由于许多信息检索（IR）特定概念在自然语言中不常出现，其在 IR 任务中的应用仍具挑战性。虽然基于提示的方法可以向 LLMs 提供任务描述，但它们往往不足以促进对 IR 任务的全面理解与执行，从而限制了 LLMs 的适用性。为解决这一差距，本工作探索了指令微调在增强 LLMs 于 IR 任务中熟练度的潜力。我们引入了一个新颖的指令微调数据集 INTERS，涵盖三个基本 IR 类别（查询理解、文档理解以及查询-文档关系理解）中的 20 项任务。数据源自 43 个不同数据集，并配有手工编写的模板。我们的实证结果表明，INTERS 显著提升了多种公开可用 LLMs（如 LLaMA、Mistral 和 Phi）在 IR 任务中的性能。此外，我们进行了大量实验，分析指令设计、模板多样性、少样本示例以及指令数量对性能的影响。我们将数据集和微调模型公开于 https://github.com/DaoD/INTERS。
引用
@article{arxiv.2401.06532,
title = {INTERS: Unlocking the Power of Large Language Models in Search with Instruction Tuning},
author = {Yutao Zhu and Peitian Zhang and Chenghao Zhang and Yifei Chen and Binyu Xie and Zheng Liu and Ji-Rong Wen and Zhicheng Dou},
journal= {arXiv preprint arXiv:2401.06532},
year = {2024}
}
备注
Accepted by ACL 2024 main conference. Repo: https://github.com/DaoD/INTERS