面向 Harness 优化器直接评估的优先级排序
人工智能
2026-05-22 v1
摘要
Harness 优化使自动化智能体创建成为可能，通过让优化器智能体迭代更新目标智能体的 harness 而实现。尽管已取得成功，但当前研究仅通过观察目标智能体性能提升来评估优化器。这会忽略中间步骤中的优化器行为，这些行为常常是错误的，阻碍智能体性能。因此，尚不清楚 Harness 优化是由优化器的明智更新动作驱动，还是仅靠试错实现的。这迫切需要对 Harness 优化器进行直接评估。然而，直接评估 Harness 优化器面临高昂成本，由于缺乏标准 harness。为此，我们提出一种简单低成本的设计，即优先级排序。通过要求 Harness 优化器对给定 harness 中的组件（如工具）按其潜在提升/阻碍智能体性能的顺序进行排序，我们的设计在不进行高成本 rollout 或人工检查的情况下，对优化器在步骤层面的能力进行量化。更重要的是，优化器的排序性能与其在实际多步骤 Harness 优化中提升智能体性能的能力呈相关性，这表明优先级排序是优化能力可靠的预测器。优先级排序得益于 Shor 的支持，该集合涵盖 182 个经人工验证的优化场景，跨越不同领域、设计和时间阶段。代码和数据可在 https://github.com/k59118/Harness_Optimizer_Evaluation 获取。
关键词
引用
@article{arxiv.2605.22505,
title = {Towards Direct Evaluation of Harness Optimizers via Priority Ranking},
author = {Kai Tzu-iunn Ong and Minseok Kang and Dongwook Choi and Junhee Cho and Seungju Kim and Seungwon Lim and Geunha Jang and Minwoo Oh and Bogyung Jeong and Sunghwan Kim and Taeyoon Kwon and Jinyoung Yeo},
journal= {arXiv preprint arXiv:2605.22505},
year = {2026}
}
备注
Preprint. Work in Progress