高效自适应搜索代理的内部-外部知识协同推理
计算与语言
2025-05-13 v1 人工智能
摘要
检索增强生成 (RAG) 是降低大型语言模型 (LLM) 幻觉现象的常用策略。虽然强化学习 (RL) 可以使 LLM 作为搜索代理，通过激活检索功能来实现自主行为，但现有方法往往未充分利用其内部知识，导致检索冗余、潜在的有害知识冲突以及增加的推理延迟。为此，亟需一种高效且自适应的搜索代理，能够辨别最佳检索时机，并协同集成参数化 (内部) 和检索 (外部) 知识。本文引入的强化内部-外部知识协同推理智能体 (IKEA) 能够识别自身知识边界，优先利用内部知识，仅在内部知识被判定不足时才采用外部检索。通过采用新颖的知识边界感知奖励函数和知识边界感知训练数据集，实现面向内部-外部知识协同的 RL，激励模型提供准确答案、最小化不必要的检索，并在知识不足时进行恰当的外部搜索。跨多个知识推理任务的评估表明，IKEA 显著优于基线方法，检索频率大幅降低，同时展现出鲁妥的泛化能力。
引用
@article{arxiv.2505.07596,
title = {Reinforced Internal-External Knowledge Synergistic Reasoning for Efficient Adaptive Search Agent},
author = {Ziyang Huang and Xiaowei Yuan and Yiming Ju and Jun Zhao and Kang Liu},
journal= {arXiv preprint arXiv:2505.07596},
year = {2025}
}