面向电商 A/B 测试仿真的 SimGym 框架——基于流量校准的 VLM 智能体
人工智能
2026-05-20 v1
摘要
A/B 测试是评估电商店铺修改的黄金标准，但其会分流用户，需数周才能达到统计显著性，同时可能损害用户体验。我们提出 SimGym，一个利用运行中浏览器的视觉语言模型(VLM)智能体仿真电商店铺 A/B 测试的框架。该框架包含三个关键组件：(a) 基于生产点击流数据推导每个店铺买家原型与意图的流量校准人格生成管道；(b) 结合多模态感知(视觉与浏览器结构化观测)、环回记忆与安全措施的活浏览器智能体架构，实现控制组与处理组店铺间连贯购物 sessions；(c) 将仿真结果偏移与真实买家行为观察偏移进行比较的评估协议。在来自某大型电商平台多个店铺及品类的视觉驱动 UI 主题变更 A/B 测试中验证了 SimGym。实证结果表明，SimGym 智能体在观察到的结果偏移上取得了良好一致性，控制组与处理组店铺界面变更在真实买家流量中的添加购物篮偏移达 77%。它将实验周期从数周缩短至数小时，使快速实验成为可能，而无需将真实买家暴露于候选变更中。
引用
@article{arxiv.2605.19219,
title = {SimGym: A Framework for A/B Test Simulation in E-Commerce with Traffic-Grounded VLM Agents},
author = {Han Li and Vibhor Malik and Zahra Zanjani Foumani and Alberto Castelo and Shuang Xie and Ailin Fan and Keat Yang Koay and Yuanzheng Zhu and Meysam Feghhi and Ronie Uliana and Zhaoyu Zhang and Angelo Ocana Martins and Mingyu Zhao and Francis Pelland and Jonathan Faerman and Nikolas LeBlanc and Aaron Glazer and Andrew McNamara and Zhong Wu and Lingyun Wang},
journal= {arXiv preprint arXiv:2605.19219},
year = {2026}
}