Sola-Visibility-ISPM：用于身份安全姿态管理可见性的智能体 AI 基准测试
摘要
身份安全姿态管理 (ISPM) 是跨越云端和 SaaS 环境的现代企业的核心挑战。回答诸如理解身份库存和配置卫生等基本 ISPM 可见性问题，需要解释复杂的身份数据，这促使日益增长的对智能体 AI 系统的兴趣。尽管有这个兴趣，但目前没有标准化的方式来评估此类系统在真实企业数据上执行 ISPM 可见性任务的性能。我们引入了 Sola 可见性 ISPM 基准测试，这是第一个旨在使用活跃、生产级身份环境（跨越 AWS、Okta 和 Google Workspace）评估智能体 AI 系统在基础 ISPM 可见性任务上的表现的基准测试。该基准聚焦于身份库存和卫生问题，并伴随 Sola AI 智能体——一种将自然语言查询翻译为可执行数据探索步骤并产生可验证、以证据为依据的答案的工具使用智能体。我们对 77 个基准问题进行了测试，智能体实现了强劲的整体性能，expert accuracy 为 0.84，strict success rate 为 0.77。在 AWS 可见性任务中，性能最佳，expert accuracy 达到 0.94，而在 Google Workspace 和 Okta 可见性任务中的结果相对更为温和，但仍具竞争力。总体而言，本工作为评估身份安全领域智能体 AI 系统的实用且可重复的基准测试提供了基础，并为涵盖更高级身份分析和治理任务的未来 ISPM 基准测试奠定了基础。
引用
@article{arxiv.2601.07880,
title = {Sola-Visibility-ISPM: Benchmarking Agentic AI for Identity Security Posture Management Visibility},
author = {Gal Engelberg and Konstantin Koutsyi and Leon Goldberg and Reuven Elezra and Idan Pinto and Tal Moalem and Shmuel Cohen and Yoni Weintrob},
journal= {arXiv preprint arXiv:2601.07880},
year = {2026}
}
备注
20 pages, 3 figures. Benchmark and evaluation framework for agentic AI in identity security posture management, including expert evaluation and LLM-as-judge analysis