循环一致搜索：将问题可重构性作为搜索代理训练的代理奖励
人工智能
2026-04-15 v1
摘要
强化学习（RL）在复杂信息检索任务中展现出强大的潜力，但现有方法主要依赖金标准监督，如真实答案，这在扩大规模方面存在困难。为此，我们提出循环一致搜索（Cycle-Consistent Search, CCS），一种无需金标准监督的搜索代理训练框架，灵感来源于无监督机器翻译和图像到图像翻译中的循环一致性技术。我们的关键假设是，最优的搜索轨迹 Unlike 不足或无关的轨迹，构成对问题意图的无损编码。因此，高质量的轨迹应能够保留足以准确重建原始问题所需的信息，从而为策略优化提供奖励信号。然而，朴素的循环一致性目标容易出现信息泄漏，因为重建可能依赖于表面词汇线索而非底层搜索过程。为减少此影响，我们应用信息瓶颈，包括排除最终响应以及对搜索查询的命名实体识别（NER）掩码。这些约束迫使重建依赖于检索到的观察结果以及结构框架，确保所得奖励信号反映信息充分性而非语言冗余性。在问答基准测试上进行的实验表明，CCS 在不依赖金标准监督的前方法之上，实现了与监督基线相当的性能。这些结果表明，CCS 为在缺乏金标准监督的情境下训练搜索代理提供了可扩展的训练范式。
引用
@article{arxiv.2604.12967,
title = {Cycle-Consistent Search: Question Reconstructability as a Proxy Reward for Search Agent Training},
author = {Sohyun An and Shuibenyang Yuan and Hayeon Lee and Cho-Jui Hsieh and Alexander Min},
journal= {arXiv preprint arXiv:2604.12967},
year = {2026}
}