基于模型的Whittle指数学习算法
机器学习
2025-11-26 v1 数据结构与算法
数值分析
数值分析
摘要
我们提出了BLINQ，这是一个新的基于模型的算法，用于学习可索引、具有通信性和单链马尔可夫决策过程（MDP）的Whittle指数。我们的 метод依赖于构建MDP的经验估计，然后使用扩展版现有算法计算其Whittle指数。我们提供了收敛到所需Whittle指数的证明，以及任意精度学习所需时间的上界。此外，我们研究了其计算复杂度。我们的Numerical实验表明，BLINQ在获取准确近似所需的样本数方面显著优于现有的Q学习方法。此外，对于任意合理的样本数，其总计算成本甚至低于Q学习。即使使用预训练神经网络加速Q学习算法，这些观察仍然成立。
引用
@article{arxiv.2511.20397,
title = {Model-Based Learning of Whittle indices},
author = {Joël Charles-Rebuffé and Nicolas Gast and Bruno Gaujal},
journal= {arXiv preprint arXiv:2511.20397},
year = {2025}
}
备注
31 pages, 8 figures, submitted to TOMPECS