JAF：评判代理森林
人工智能
2026-02-02 v1 计算与语言
机器学习
摘要
评判代理是 agentic AI 框架的基本组成部分：它们提供自动化评估，使推理过程能够实现迭代式自我完善。我们介绍 JAF：评判代理森林(Judge Agent Forest)，一个框架，其中评判代理对由主要代理生成的查询-响应对进行联合推断，而不是对每个响应独立评估。这种范式将评判器从局部评估者提升为整体学习者：通过同时评估相关响应，评判器辨别出跨实例模式和不一致之处，其综合性反馈使主要代理能够通过评判器的整体视角来改进自身输出。概念上，JAF 桥接了信念传播和集成学习原理：重叠的情境邻域导致知识图谱结构，促进批评的传播，重复且随机的评估产生稳健的情境敏感判断集合。JAF 可以完全通过 ICL 实现，其中针对每个查询使用其关联的主要代理响应加上小量（可能带有噪声的）同伴范例进行提示。虽然在嵌入空间中使用 kNN 是选择范例的自然起点，但这种方法忽略了类别结构、域元数据或现代大语言模型可访问的细微区别。为克服这些限制，我们开发了一个灵活的局部敏感哈希(LSH)算法，通过整合语义嵌入、LLM 驱动的哈希谓词、来自类别标签的监督以及相关副信息来学习信息丰富的二进制代码。这些哈希代码支持高效、可解释且关系感知的多样化范例选择，并进一步优化 CoT 推理路径的探索。我们在大规模云环境中执行云配置错误分类诊断这一挑战性任务上的实证研究来验证 JAF。
引用
@article{arxiv.2601.22269,
title = {JAF: Judge Agent Forest},
author = {Sahil Garg and Brad Cheezum and Sridhar Dutta and Vishal Agarwal},
journal= {arXiv preprint arXiv:2601.22269},
year = {2026}
}