计算有限时域多臂老虎机的经典指标
最优化与控制
2022-07-29 v1 概率论
摘要
本文考虑有限时域离散状态老虎机中Gittins指标对应量的高效精确计算，该量对每个初始状态度量平均生产率，由可通过对给定时域停止的若干连续游玩所达到的期望总折扣奖励与期望总折扣时间支出的最大比值给出。除了刻画有限时域单臂老虎机问题的最优策略外，该指标为难以处理的有限时域多臂老虎机问题提供了一种次优启发式指标规则，其代表了Gittins指标规则(在无限时域情形下最优)的自然推广。尽管该有限时域指标在1950年代的经典工作中已被引入，其高效精确计算的研究却甚少受到关注。本文引入一种仅使用算术运算的递归自适应贪心算法，在问题参数(项目状态数与时域长度)上以(伪)多项式时间计算该指标。在每状态转移受限项目的特殊情况下，复杂度要么降低，要么仅依赖于时域长度。所提算法在一个计算研究中与常规标定方法进行了基准对比。
引用
@article{arxiv.2207.14189,
title = {Computing a classic index for finite-horizon bandits},
author = {José Niño-Mora},
journal= {arXiv preprint arXiv:2207.14189},
year = {2022}
}
备注
21 pages, 6 figures