通过更好的推荐算法 A/B 测试减少共生偏差
统计方法学
2024-10-23 v3
摘要
在数字环境中使用 A/B 测试比较推荐算法性能已愈发常见。然而，此类实验常因所比较算法间共享数据而违反稳定单元处理值假设（SUTVA），尤其是 SUTVA 的“无隐藏处理”假设。这导致一种新形式的偏差，我们称之为“共生偏差”，即每个算法的性能受其竞争者所生成训练数据的影响。本文中，我们研究三种实验设计——簇随机化、数据分流和用户-语料库协同分流实验——旨在缓解共生偏差。我们提出共生偏差的理论模型，并模拟各设计在动态推荐环境中的影响。结果表明，尽管每种设计在一定程度上减少了共生偏差，但也引入新挑战，如数据分流实验中训练数据减少。我们进一步利用全球推荐系统上大规模 A/B 测试的数据验证共生偏差的存在，证明共生偏差影响现场的处理效应估计。我们的发现为寻求设计能准确捕捉算法性能且不受共享数据引入的处理效应估计偏差影响的研究人员与从业者提供了可操作见解。
引用
@article{arxiv.2309.07107,
title = {Reducing Symbiosis Bias Through Better A/B Tests of Recommendation Algorithms},
author = {Jennifer Brennan and Yahu Cong and Yiwei Yu and Lina Lin and Yajun Peng and Changping Meng and Ningren Han and Jean Pouget-Abadie and David Holtz},
journal= {arXiv preprint arXiv:2309.07107},
year = {2024}
}
备注
Work-in-progress