LLM代理在企业环境中的评估沙盒：面向企业的LLM代理基准
代数拓扑
2026-05-26 v2 高能物理 - 理论
数学物理
微分几何
math.MP
摘要
企业系统对于提高员工和客户的生产力和决策能力至关重要。将LLM集成到企业系统中可实现智能自动化、个性化体验和高效信息检索,推动运营效率和战略增长。然而,由于企业环境的内在复杂性,数据分散在多个来源且受到严格的访问控制,开发和评估此类系统具有挑战。我们提出EnterpriseBench,一个模拟企业环境的全面基准,涵盖软件工程、人力资源、财务和行政等500个多样化任务。我们的基准独特地捕捉了关键企业特征,包括数据源碎片化、访问控制层次结构和跨职能工作流程。此外,我们提供一种新的数据生成管道,从组织元数据创建内部一致的企业任务。使用最先进的LLM代理进行实验表明,即便是最强大的模型也仅实现41.8%的任务完成率,这凸显了面向企业的AI系统仍有显著的改进空间。
引用
@article{arxiv.2510.27286,
title = {Differential Models for the Anderson Dual to Twisted $\mathrm{Spin}^c$-Bordism and a Twisted Anomaly Map},
author = {Fei Han and Yuanchu Li},
journal= {arXiv preprint arXiv:2510.27286},
year = {2026}
}
备注
56 pages; revised and expanded version