用分层张量积逼近定常 Bellman 方程
最优化与控制
2021-05-19 v4
摘要
我们通过数值求解相关的定常 Hamilton-Jacobi-Bellman (HJB) 方程来计算值函数与最优反馈律，从而处理无限 horizon 最优控制问题。所考虑的动力学系统是非线性抛物型偏微分方程 (PDE) 的空间离散化，这意味着 HJB 是非线性的并受维数灾难之苦。其非线性由 Policy Iteration 算法处理，该算法将问题化为一列线性双曲 PDE。这些方程因其高维而仍是计算瓶颈。借助特征线法，这些线性化 HJB 方程可按动态规划思想通过 Koopman 算子重新表述。所得算子方程用极小残差法求解。为克服数值不可行性，我们采用低秩分层张量积逼近/基于树的张量格式，特别是张量列 (TT tensors) 与多多项式，并结合高维求积（如 Monte-Carlo）。通过对粘性 Burgers 方程的不稳定版本及带不稳定反应项的扩散方程进行控制，给出了数值验证。
引用
@article{arxiv.1911.00279,
title = {Approximating the Stationary Bellman Equation by Hierarchical Tensor Products},
author = {Mathias Oster and Leon Sallandt and Reinhold Schneider},
journal= {arXiv preprint arXiv:1911.00279},
year = {2021}
}
备注
Major revision of the paper