具有路径积分稳定证书的漂移MDP几何
机器学习
2026-01-30 v1 人工智能
摘要
现实中的强化学习往往是非平稳的：奖励和动力学会漂移、加速、振荡，并触发最优动作的突变切换。现有理论常以粗糙的尺度模型表示非平稳性，这些模型衡量环境变化的"多少”，而非其在局部的"如何”变化——尽管加速度和临界值会驱动跟踪误差和策略颤动。在几何视角下，我们将非平稳折扣马尔可夫决策过程(MDP)建模为可微分的同伦路径，并跟踪由此引起的最优Bellman固定点的运动。这产生了累积漂移、加速度/振荡和动作间隙引起的非光滑性的length-curvature-kink特征。我们证明了一个对求解器agnostic的路径积分稳定界限，推导出在开关 regime 之外 certify 局部稳定性的gap-safe可行区域。基于这些结果，我们引入了Homotopy-Tracking RL (HT-RL)和HT-MCTS，轻量级封装器用于在线估计length、curvature和临界值proximity，并据此调整学习或规划强度。实验显示，在与匹配的静态基线相比，跟踪效果和动态 regret均有所改善，在振荡和易触发开关的 regime 中获得最大收益。
引用
@article{arxiv.2601.21991,
title = {Geometry of Drifting MDPs with Path-Integral Stability Certificates},
author = {Zuyuan Zhang and Mahdi Imani and Tian Lan},
journal= {arXiv preprint arXiv:2601.21991},
year = {2026}
}