粗糙微分方程的路径松弛最优控制
最优化与控制
2024-02-29 v1 系统与控制
系统与控制
概率论
摘要
本文奠定了定义连续时间非马尔可夫粗糙环境中强化学习微分系统理论的部分基础。具体而言，我们专注于粗糙方程的最优松弛控制（术语“松弛”指必须将控制视为测度值对象）。着眼于强化学习，我们的奖励函数涵盖了包含有利于探索的熵型项的形式。在此背景下，我们的贡献侧重于相应松弛 Hamilton-Jacobi-Bellman (HJB) 型方程的仔细定义。我们工作的很大一部分在于为在此框架下获得的粗糙松弛偏微分方程精确定义测试函数和粘性解的概念。值得注意的是，尽管这一任务赋予了相关微分系统恰当的含义，但在粗糙粘性文献中往往仅被略加勾勒。在本文最后一部分，我们证明了在此背景下的自然值函数在粘性意义下满足一个松弛粗糙 HJB 方程。
引用
@article{arxiv.2402.17900,
title = {Pathwise Relaxed Optimal Control of Rough Differential Equations},
author = {Prakash Chakraborty and Harsha Honnappa and Samy Tindel},
journal= {arXiv preprint arXiv:2402.17900},
year = {2024}
}