强化孪生：从数字孪生到基于模型的强化学习

数字孪生有望通过提供优化、控制与预测性维护的新途径而彻底变革工程领域。我们提出一种同时训练工程系统数字孪生及其相关控制智能体的新框架。孪生的训练结合了基于伴随的数据同化与系统辨识方法，而控制智能体的训练将基于模型的最优控制与无模型强化学习相融合。控制智能体沿两条独立路径演化：一条由基于模型的最优控制驱动，另一条由强化学习驱动。数字孪生作为对抗与间接交互的虚拟环境，充当“专家示范者”。若训练停滞，则选取最优策略用于真实世界交互并克隆至另一路径。我们称此框架为强化孪生（RT）。该框架在三个不同的工程系统与控制任务上进行了测试：（1）变化风速下的风力机控制，（2）面临阵风扑翼微型飞行器（FWMAVs）的轨迹控制，以及（3）低温储罐管理中的热载荷缓解。这些测试用例采用具有已知真实值闭合律的简化模型。结果表明，基于伴随的数字孪生训练具有极高的样本效率，在数次迭代内即可完成。对于控制智能体训练，基于模型与无模型的方法均从其互补的学习经验中获益。这些有前景的结果为实现 RT 框架于真实系统铺平了道路。