受控马尔可夫链转移密度的自适应估计

估计受控马尔可夫链的转移动力学在时间序列分析、强化学习和系统探索等领域至关重要。传统的非参数密度估计方法通常假设样本独立，并要求平滑参数（如 Hölder 连续性系数）的先验知识。这些假设在受控马尔可夫环境中是不切实际的，特别是当控制为非马尔可夫时，因为此类参数需要在所有控制值上均匀成立。为了填补这一空白，我们提出了一种用于受控马尔可夫链转移密度的自适应估计器，它不依赖于平滑参数的先验知识或对控制序列分布的假设。我们的方法建立在自适应密度估计的最新进展之上，通过选择一个能很好地拟合观测数据且最小化损失函数的估计器，在稠密的估计器类别上使用受约束的极小化极大准则。我们采用随机和确定性版本的 Hellinger 距离作为损失函数，通过预言机风险界验证了估计器的性能。该方法为在受控马尔可夫系统中估计转移密度提供了一个稳健且灵活的框架，而无需施加强假设。