离散动力系统的迁移学习

本工作聚焦于强化学习中的迁移学习问题。具体而言，我们考虑在简化维度系统中训练策略并在完整状态系统中部署。采用此种训练策略的动机是：若系统动力学复杂，运行完整状态系统的仿真会耗费大量时间。虽然迁移学习可缓解计算问题，但迁移保证依赖于两系统之间的差异。在本工作中，我们考虑一类级联动力学系统，其中子集状态空间的动力学影响其余状态，但反向不成立。强化学习策略在忽略这些状态动力学、将其视为给定输入的模型中学习。在完整状态系统中，这些动力学通过经典控制器（如 PID）进行处理。这类系统在控制文献中有着广泛应用，其结构使我们能够提供依赖内环控制器稳定性的迁移保证。四旋翼机的数值实验支持了理论发现。