马尔可夫决策过程状态相似性的理论分析
机器学习
2025-12-22 v1
摘要
二分图度量（Bisimulation metric, BSM）是分析马尔可夫决策过程（MDP）中状态相似性的强大工具，揭示了在BSM中彼此接近的状态具有更相似的最优价值函数。尽管BSM已成功用于强化学习（RL）中的任务，如状态表示学习和策略探索，但其应用于多个MDP之间的状态相似性仍具有挑战性。先前的工作尝试将BSM扩展到MDP对之间，但由于缺乏明确的数学性质，限制了进一步的理论分析。本文我们正式建立了一个通用二分图度量（Generalized bisimulation metric, GBSM），用于衡量任意MDP对之间的最状态相似性，并通过三种基本度量性质（即GBSM对称性、跨MDP的三角不等式以及相同空间中的距离界限）进行严格证明。利用这些性质，我们对跨MDP的策略迁移、状态聚合和基于抽样的估计进行理论分析，获得显式界限，严格紧于现有的基于标准BSM所得界限。此外，GBSM提供了闭形式的样本复杂度估计，改进了基于BSM的现有渐近结果。数值结果验证了我们的理论发现，并展示了GBSM在多MDP情景下的有效性。
引用
@article{arxiv.2512.17265,
title = {A Theoretical Analysis of State Similarity Between Markov Decision Processes},
author = {Zhenyu Tao and Wei Xu and Xiaohu You},
journal= {arXiv preprint arXiv:2512.17265},
year = {2025}
}
备注
Submitted to an IEEE Transactions. arXiv admin note: substantial text overlap with arXiv:2509.18714