决策聚焦评估：已部署不安分多臂_bandit的性能分析
人工智能
2023-01-20 v1
摘要
不安分多臂_bandit(RMABs)是一种流行的决策理论框架，已用于建模公共卫生、野生动物保护、通信系统等领域中的真实世界序贯决策问题。已部署的 RMAB 系统通常分两个阶段运行：第一阶段预测定义 RMAB 实例的未知参数，第二阶段采用优化算法求解所构造的 RMAB 实例。在这项工作中，我们提供并分析了在公共卫生领域首次部署 RMAB 系统以改善母婴健康的结果。我们的分析侧重于理解预测精度与已部署 RMAB 系统整体性能之间的关系。这对于确定投入资源提升预测精度以改进最终系统性能的价值至关重要，并有助于诊断、监测已部署的 RMAB 系统。利用来自我们已部署 RMAB 系统的真实数据，我们证明整体预测精度的提升甚至可能伴随 RMAB 系统性能的下降——广泛投入资源以提升整体预测精度未必产生预期结果。此后，我们开发了决策聚焦评估指标来评估预测组件，并表明其在经验与理论上都能更好地解释已部署 RMAB 系统的整体性能。
引用
@article{arxiv.2301.07835,
title = {Decision-Focused Evaluation: Analyzing Performance of Deployed Restless Multi-Arm Bandits},
author = {Paritosh Verma and Shresth Verma and Aditya Mate and Aparna Taneja and Milind Tambe},
journal= {arXiv preprint arXiv:2301.07835},
year = {2023}
}
备注
11 pages, 3 figures, AI for Social Good Workshop (AAAI'23)