具有 Borel 空间的 MDP 的数据驱动非参数模型学习与自适应控制：可辨识性与近最优设计
最优化与控制
2025-03-27 v2 概率论
摘要
我们考虑一个具有标准 Borel 空间与未知转移核的平均成本随机控制问题。我们不假设未知核具有参数结构。我们给出了核上的拓扑，这些拓扑导致了核的可辨识性，并通过对可辨识性误差的鲁棒性确保了近最优性。随后，我们给出了两个数据驱动的可辨识性结果；第一个是 Bayesian 的（具有有限时间收敛保证），第二个是经验性的（具有渐近收敛保证）。然后，利用可辨识性结果来设计近最优自适应控制策略，这些策略在探索期（智能体尝试学习真实核）与利用期（利用整个探索阶段积累的知识来最小化成本）之间交替进行。我们将证明此类策略是近最优的。此外，我们将证明，通过同时探索与利用环境的策略也能实现近最优性。因此，我们的主要贡献是提出确保可辨识性以及导致最优性的自适应学习与控制的非常一般的条件。促进我们分析的关键工具包括一个一般可测性定理、对模型学习的鲁棒性，以及在 Young 拓扑下平稳策略的期望平均成本的连续性。
引用
@article{arxiv.2503.11058,
title = {Data-Driven Non-Parametric Model Learning and Adaptive Control of MDPs with Borel spaces: Identifiability and Near Optimal Design},
author = {Omar Mrani-Zentar and Serdar Yüksel},
journal= {arXiv preprint arXiv:2503.11058},
year = {2025}
}