非平稳 MDP 的预测控制与前视信息 regret 分析

在非平稳马尔可夫决策过程（MDP）中进行策略设计本构成挑战，因为其时间可变的转移与奖励使得学习者难以确定以最大化累积未来奖励为目标的最优动作。幸运的是，在许多实际应用中（如能源系统），可获得前视预测，包括可再生能源发电和需求预测。在本文中，我们利用这些前视预测提出一种算法，以实现非平稳 MDP 中的低 regret。我们的理论分析表明，在某些假设下，随着前视窗口的扩大，regret 以指数级下降。当系统预测受误差影响时，尽管预测误差随预测时域范围而指数级增长，regret 仍不会爆炸。我们通过仿真验证了该方法在非平稳环境中的有效性。