情节式风险敏感线性二次调节器的遗憾界

风险敏感线性二次调节器是风险敏感最优控制中最基本的问题之一。本文研究了有限时域情节设置下风险敏感线性二次调节器的在线自适应控制。我们提出了一种简单的基于最小二乘的贪婪算法，并证明在特定可辨识性假设下，该算法实现了$\widetilde{\mathcal{O}}(\log N)$的遗憾，其中$N$是总情节数。如果可辨识性假设不满足，我们建议将探索噪声引入基于最小二乘的算法，从而得到具有$\widetilde{\mathcal{O}}(\sqrt{N})$遗憾的算法。据我们所知，这是情节式风险敏感线性二次调节器的第一组遗憾界。我们的证明依赖于风险敏感线性二次控制中非标准Riccati方程的扰动分析，以及在线学习过程中因应用次优控制器而导致风险敏感性能准则损失的精细分析。