面向动态控制的物理信息驱动的Dyna式基于模型的深度强化学习
机器学习
2022-11-16 v1 最优化与控制
摘要
基于模型的强化学习（MBRL）被认为通过学习环境的预测模型，比无模型算法具有更高的样本效率。然而，MBRL的性能高度依赖于所学模型的质量，该模型通常以黑盒方式构建，并且在数据分布之外可能具有较差的预测精度。所学模型的缺陷可能阻碍策略被充分优化。尽管已提出一些基于不确定性分析的补救方法来缓解此问题，模型偏差仍对MBRL构成巨大挑战。在本工作中，我们提出利用环境底层物理的先验知识，其中控制定律是（部分）已知的。具体而言，我们开发了一个物理信息驱动的MBRL框架，其中利用控制方程和物理约束来指导模型学习与策略搜索。通过融入环境的先验信息，所学模型的质量可显著提升，同时与环境所需的交互显著减少，从而带来更好的样本效率与学习性能。该方法的有效性与优点已在若干经典控制问题上得到验证，这些环境由典型的常/偏微分方程控制。
引用
@article{arxiv.2108.00128,
title = {Physics-informed Dyna-Style Model-Based Deep Reinforcement Learning for Dynamic Control},
author = {Xin-Yang Liu and Jian-Xun Wang},
journal= {arXiv preprint arXiv:2108.00128},
year = {2022}
}
备注
23 figures; 2 tables