论 A/B 测试中的重度用户偏差
应用统计
2019-08-13 v2
摘要
在线实验（又称 A/B 测试）已成为软件开发不可或缺的一部分。为了及时纳入用户反馈并持续改进产品，许多软件公司采用了敏捷部署的文化，要求在有限用户集合上于短期内开展并结束在线实验。虽然在概念上高效，但实验期间观察到的结果可能与功能部署后所见结果存在偏差，这使得 A/B 测试结果产生偏倚。本文提供理论分析表明，重度用户对偏差有显著贡献，并提出一种用于偏差调整的重采样估计量。
引用
@article{arxiv.1902.02021,
title = {On Heavy-user Bias in A/B Testing},
author = {Yu Wang and Somit Gupta and Jiannan Lu and Ali Mahmoudzadeh and Sophia Liu},
journal= {arXiv preprint arXiv:1902.02021},
year = {2019}
}
备注
5 pages, CIKM'19