在颤抖手下检测异常非平稳 Markov 臂的学习问题
信息论
2021-06-02 v2 机器学习
math.IT
机器学习
摘要
本文研究在多臂赌博机中寻找异常臂的问题，其中（a）每个臂为有限状态 Markov 过程，且（b）各臂为非平稳的。此处异常是指其中一个臂（奇数臂）的转移概率矩阵（TPM）不同于各个非奇数臂的公共 TPM。某一决策实体希望尽快找到奇数臂的索引，且错误概率受限于上界，但它并不知道这些 TPM。我们推导了寻找奇数臂索引所需期望时间在错误概率趋于零的渐近意义下的问题实例特定渐近下界。进一步，我们基于确定性等价原理设计了一种策略，并证明在连续选择假设以及对 TPM 的某一正则性假设下，该策略可任意接近地达到该下界。因此，尽管下界对所有问题实例均成立，上界仅对满足连续选择与正则性假设的问题实例给出。我们的可达性分析基于解决某一提升的可数状态受控 Markov 过程中的可辨识性问题。
引用
@article{arxiv.2105.03603,
title = {Learning to Detect an Odd Restless Markov Arm with a Trembling Hand},
author = {P. N. Karthik and Rajesh Sundaresan},
journal= {arXiv preprint arXiv:2105.03603},
year = {2021}
}
备注
49 pages. A shorter version of this manuscript has been accepted for presentation at the 2021 IEEE International Symposium on Information Theory. This manuscript contains the proofs of all the main results