测量 LLM 代理的先验结构搜索空间

基于大语言模型 (LLM) 的生成-过滤-精炼 (迭代范式) 在推理、编程和程序发现方面取得了进展。然而，搜索效果取决于搜索位置，即如何将域先验编码到操作结构化的假设空间中。为此，本文提出了一种紧凑的形式理论，用于描述和度量由域先验引导的 LLM 辅助迭代搜索。我们将代理表示为输入和输出之间的模糊关系算子，以捕获可行转换；从而，代理受限于固定的安全包络。为描述多步推理/搜索，我们对所有可达路径按单个延续参数加权求和，以获得覆盖生成函数；这导致可达性难度的度量；并提供了在由安全包络引导的图上的搜索的几何解释。我们进一步提供最简单的可测试推论并通过两个实例进行验证。该理论为度量代理及其搜索空间提供了可操作的语言和工具，提出了由 LLM 构建的迭代搜索的系统化形式描述。