成本感知的最优臂识别
机器学习
2024-07-02 v2 机器学习
摘要
本文研究了具有双重对象的最优臂识别问题。除了经典的奖励外，每个臂还关联一个成本分布，目标是以最小的期望成本识别出具有最大奖励的臂。我们将此问题称为\emph{成本感知的最优臂识别}（Cost Aware Best Arm Identification, CABAI），该问题捕捉了产品开发流程中测试阶段与实施阶段的分离，并模拟了阶段间的目标转变，即测试阶段关注成本而实施阶段关注奖励。我们首先推导了 CABAI 的理论下界，并提出了一种名为 的算法以渐近地匹配该下界。为了降低 的计算量，我们进一步提出了一种基于平方根规则的简单算法，称为\emph{Chernoff 重叠}（Chernoff Overlap, CO）；我们证明该算法在简化的双臂模型中是最优的，并且在数值实验中具有良好的泛化能力。我们的结果表明：(i) 忽略异构动作成本会导致实践中的次优性；(ii) 简单算法可以在广泛的问题范围内提供接近最优的性能。
引用
@article{arxiv.2402.16710,
title = {Cost Aware Best Arm Identification},
author = {Kellen Kanarios and Qining Zhang and Lei Ying},
journal= {arXiv preprint arXiv:2402.16710},
year = {2024}
}