弥合遗憾最小化与最优臂辨识之间的差距及其在A/B测试中的应用
机器学习
2019-02-27 v2 机器学习
摘要
最先进的在线学习过程要么聚焦于选择最佳备选方案（“最优臂辨识”），要么聚焦于最小化代价（“遗憾”）。我们通过提供对同时最小化代价且为delta-PAC（具有经证明的决策时间保证界）的算法的理论分析，将这两大目标相融合，从而同时实现遗憾最小化和最优臂辨识。该分析阐明了一种常见现象，即校准不良的UCB算法在最小化遗憾的同时仍能快速辨识最优臂。我们还将结果推广至许多从业者面临的非独立同分布情形。这提供了一种在进行自适应测试时权衡代价与决策时间的技术，其应用范围涵盖网站A/B测试到临床试验。
引用
@article{arxiv.1810.04088,
title = {Bridging the gap between regret minimization and best arm identification, with application to A/B tests},
author = {Rémy Degenne and Thomas Nedelec and Clément Calauzènes and Vianney Perchet},
journal= {arXiv preprint arXiv:1810.04088},
year = {2019}
}