ShopGym：面向电子商务网页智能体的真实仿真与可扩展基准框架

开发和评估电子商务网页智能体需要能够保持有意义任务结构同时实现可控、可复现和可扩展科学比较的环境。现有方法论常常在真实性与可控性之间权衡：现场商店提供真实性但非稳态、难以检查且不可复现，而手工构建的沙盒基准提供可控性但仅覆盖有限的布局、目录、政策和交互模式。我们认为核心瓶颈在于方法论：该领域缺乏一种可同时实现真实性、多样性、可控性、可检查性和可复现性的可扩展评估设置方式。我们引入 ShopGym，一个用于电子商务网页智能体的真实仿真与可扩展基准框架。ShopGym 是一个用于构建电子商务仿真环境和扎根基准任务的框架。其仿真层 ShopArena 将现场种子商店转换为通过匿名商店规格和分阶段、经验证的生成过程构建的自包含沙盒商店。在这些仿真商店之上，ShopGuru 跨七个技能类别合成基准任务，将每个任务扎根于商店的目录、导航结构、政策和交互 affordance。结合 ShopArena 与 ShopGuru，可产生保持相关购物任务结构属性和智能体评估信号的自包含、可重置、可检查且稳定的评估制品。我们通过图基结构分析和基于智能体的行为评估对该框架进行了验证，在六个沙盒商店中生成 224 个任务：三个使用合成数据构建，三个使用真实数据构建。我们的结果表明，合成商店保留了现场商店的关键结构属性，智能体在合成商店上的性能与在现场商店上的性能呈正相关。