基于 Koopman 引导动力学建模的鲁棒在线残差优化

模仿学习能够从演示中高效获取技能，但由于误差累积，往往在长时程任务和高精度控制中遇到困难。残差策略学习通过闭环校正优化基础策略，提供了一种有前景的、与模型无关的解决方案。然而，现有方法主要侧重于对基础策略的局部校正，缺乏对状态演化的全局理解，这限制了对未见场景的鲁棒性和泛化能力。为了解决这一问题，我们提出引入全局动力学建模来指导残差策略更新。具体而言，我们利用 Koopman 算子理论在学习的潜空间中施加线性时不变结构，从而实现可靠的状态转移，并提高长时程预测和未见环境的泛化能力。我们提出了 KORR（Koopman-guided Online Residual Refinement，Koopman 引导的在线残差优化），这是一个简单而有效的框架，它将残差校正以 Koopman 预测的潜状态为条件，实现了具有全局信息且稳定的动作优化。我们在各种扰动下的长时程、细粒度机器人家具组装任务上评估了 KORR。结果表明，与强基线相比，在性能、鲁棒性和泛化能力上均有一致的提升。我们的发现进一步突显了基于 Koopman 的建模在将现代学习方法与经典控制理论相桥接方面的潜力。