小模型，大洞察：利用精简代理模型决定大语言模型的检索时机与内容
计算与语言
2024-05-31 v3
摘要
大语言模型（LLMs）与搜索引擎的集成代表了知识获取方法的重大演进。然而，确定 LLM 已具备的知识以及需要搜索引擎辅助的知识仍然是一个未解决的问题。大多数现有方法通过 LLM 自身的初步答案或推理结果来解决这一问题，但这导致了过高的计算成本。本文介绍了一种名为 SlimPLM 的新型协作方法，该方法利用精简代理模型检测 LLM 中的缺失知识，以增强 LLM 的知识获取过程。我们采用一个参数量少得多的代理模型，并将其答案作为启发式答案。随后利用这些启发式答案来预测回答用户问题所需的知识，以及 LLM 内部已知和未知的知识。我们仅针对 LLM 不知道的问题中的缺失知识进行检索。在五个数据集和两个 LLM 上的大量实验结果表明，该方法显著提升了 LLM 在问答任务中的端到端性能，以更低的 LLM 推理成本达到或超越了当前的最先进（SOTA）模型。
引用
@article{arxiv.2402.12052,
title = {Small Models, Big Insights: Leveraging Slim Proxy Models To Decide When and What to Retrieve for LLMs},
author = {Jiejun Tan and Zhicheng Dou and Yutao Zhu and Peidong Guo and Kun Fang and Ji-Rong Wen},
journal= {arXiv preprint arXiv:2402.12052},
year = {2024}
}
备注
Accepted by ACL 2024 main conference. Repo: https://github.com/plageon/SlimPLM