基于反馈控制稳定性分析的带跳跃线性凸模型强化学习

我们研究情节式设定下有限时间域连续时间线性凸强化学习问题。在该问题中，未知线性跳跃扩散过程受非光滑凸成本约束进行控制。我们证明相关的线性凸控制问题容许利普希茨连续的最优反馈控制，并进一步证明反馈控制的利普希茨稳定性，即，对错误模型与真实模型应用反馈控制的性能差距对模型系数扰动的幅度呈利普希茨连续依赖；证明依赖于对相关正倒向随机微分方程的稳定性分析。随后我们提出一种新颖的最小二乘算法，在带跳跃的线性凸学习问题上达到$O(\sqrt{N\ln N})$量级的后悔值，其中$N$为学习情节数；该分析利用了反馈控制的利普希茨稳定性与亚韦布尔随机变量的集中性质。数值实验证实了所提算法的收敛性与鲁棒性。