平衡风险与收益：一种自动化的分阶段发布策略
机器学习
2023-05-17 v1 机器学习
统计方法学
摘要
分阶段发布是科技行业中一种常见策略，通过一系列 A/B 测试逐步发布新产品或更新，其中接受处理的单元数量逐渐增长，直至全面部署或弃用。以原则性的方式执行分阶段发布，需要选择分配给新发布的单元比例，以在不良效应的风险与快速迭代并从实验中学习的需求之间取得平衡。在本文中，我们形式化了该问题，并提出了一种算法，可自动确定调度中每个阶段的发布百分比，在控制风险的需求与最大化推广速度之间取得平衡。我们的框架将该挑战建模为一个受约束的分批 bandit 问题，确保我们以高概率不耗尽预先指定的实验预算。我们提出的算法利用一种自适应贝叶斯方法，其中分配给处理的最大单元数由后验分布决定，从而确保耗尽剩余预算的概率较低。值得注意的是，我们的方法通过分析反演概率界来解析求解推广规模，消除了对困难的稀有事件蒙特卡洛模拟的需求。它仅需计算结局子集的均值与方差，使其高效且可并行化。
引用
@article{arxiv.2305.09626,
title = {Balancing Risk and Reward: An Automated Phased Release Strategy},
author = {Yufan Li and Jialiang Mao and Iavor Bojinov},
journal= {arXiv preprint arXiv:2305.09626},
year = {2023}
}