面向大型语言模型的完整性导向工具检索
计算与语言
2024-07-30 v2 信息检索
摘要
最近，将外部工具与大型语言模型 (LLMs) 集成已获得显著关注，作为缓解其 pre-training 数据局限性的有效策略。然而，实际系统通常包含多种工具，由于长度限制和延迟约束，无法将所有工具输入 LLMs。因此，要充分发挥工具增强 LLMs 的潜力，关键在于开发有效的工具检索系统。现有工具检索方法主要关注用户查询与工具描述之间的语义匹配，常导致检索到冗余、相似的工具，从而无法为 LLMs 所遇到的多面向问题提供完整且多样化的工具集合。本文提出一种 novel model-agnostic COllaborative Learning-based Tool Retrieval 方法 COLT，通过捕获用户查询与工具描述之间的语义相似性，同时考虑工具之间的协作信息。具体而言，我们首先微调 PLM-based 检索模型以捕获查询与工具之间的语义关系。在语义学习阶段之后，我们构建查询、场景和工具之间的三个二分图，并引入双视图图协作学习框架以捕获工具之间的复杂协作关系。在协作学习阶段进行 extensive 实验表明 COLT 性能卓越。值得注意的是，我们 proposed 的模型框架下的 BERT-mini (11M) 性能优于 BERT-large (340M)，后者参数数量仅为前者的 30 倍。此外，我们将公开发布 ToolLens 数据集以推动未来工具检索研究。
引用
@article{arxiv.2405.16089,
title = {Towards Completeness-Oriented Tool Retrieval for Large Language Models},
author = {Changle Qu and Sunhao Dai and Xiaochi Wei and Hengyi Cai and Shuaiqiang Wang and Dawei Yin and Jun Xu and Ji-Rong Wen},
journal= {arXiv preprint arXiv:2405.16089},
year = {2024}
}
备注
Accepted by CIKM 2024; GitHub: https://github.com/quchangle1/COLT