嵌套专家混合：混合动力系统的协作与竞争学习

基于模型的强化学习（MBRL）算法可以获得显著的样本效率，但需要合适的网络结构来表示系统动力学。当前方法包括使用解析参数化的白盒建模和使用深度神经网络黑盒建模。然而，两者在 learning 过程中都可能遭受偏差-方差权衡，且都不能提供将领域知识注入网络的结构化方法。作为替代，灰盒建模在神经网络训练中利用先验知识，但仅适用于简单系统。在本文中，我们设计了一种嵌套专家混合（NMOE）来表示和学习混合动力系统。NMOE 结合白盒和黑盒模型，同时优化偏差-方差权衡。此外，NMOE 提供了一种结构化方法，通过协作或竞争地训练关联专家来融入各类先验知识。先验知识包括机器人与环境的物理接触信息及其运动和动力学属性。在本文中，我们展示了如何在包括混合动力系统在内的各种连续控制域中将先验知识纳入我们的 NMOE。我们还展示了我们的方法在数据效率、对未见过数据的泛化以及偏差-方差权衡方面的有效性。最后，我们使用 MBRL 设置评估我们的 NMOE，其中模型与基于模型的控制器集成并在线训练。