ATBench-Claw与ATBench-Codex：用于OpenClaw和Codex轨迹安全评估与诊断的基准
人工智能
2026-04-30 v2 软件工程
摘要
随着智能体系统进入越来越多样的执行环境，轨迹级别的安全评估与诊断需要随之演化的基准测试。ATBench是一个多样且真实的智能体轨迹基准，用于安全评估与诊断。本报告介绍ATBench-Claw和ATBench-Codex，这两个领域定制化的扩展，使ATBench能够覆盖OpenClaw和OpenAI Codex/Codex-runtime环境。在新的环境中，分析其特征，构建针对风险来源、失效模式和现实危害的三维安全分类学，然后使用该定制化分类学来定义由共享ATBench构建管道消耗的基准规范。这种可扩展性至关重要，因为即使在具体执行环境、工具生态系统和产品能力快速演化的情况下，智能体框架在架构层面仍然相对稳定。具体而言，ATBench-Claw针对面向OpenClaw的敏感执行链，涵盖工具、技能、会话和外部动作；ATBench-Codex针对OpenAI Codex/Codex-runtime环境中的轨迹，涵盖仓库、shell、补丁、依赖项、批准和运行时策略边界。因此，我们的重点在于分类学的定制化、领域特定的风险覆盖以及在共享ATBench生成框架下的基准设计。
引用
@article{arxiv.2604.14858,
title = {Benchmarks for Trajectory Safety Evaluation and Diagnosis in OpenClaw and Codex: ATBench-Claw and ATBench-Codex},
author = {Zhonghao Yang and Yu Li and Yanxu Zhu and Tianyi Zhou and Yuejin Xie and Haoyu Luo and Jing Shao and Xia Hu and Dongrui Liu},
journal= {arXiv preprint arXiv:2604.14858},
year = {2026}
}
备注
18 pages, 3 figures