用于优化高斯混合策略的 Wasserstein 梯度流
机器学习
2023-05-18 v1 机器人学
摘要
机器人通常依赖先前学习的运动策略库来执行不同复杂度的任务。当面对未见过的任务条件或新的任务需求时，机器人必须相应地调整其运动策略。在此背景下，策略优化是使机器人策略根据任务特定目标进行适应的事实范式。最常用的运动策略带有特定结构，而这些结构在策略优化算法中常被忽视。我们转而提出利用概率策略的结构，将策略优化视为一个最优传输问题。具体而言，我们关注基于高斯混合模型（GMMs）的机器人运动策略，并将策略优化表述为 GMMs 空间上的 Wasserstein 梯度流。这自然允许我们通过 GMMs 之间的 -Wasserstein 距离来约束策略更新，以增强策略优化过程的稳定性。此外，我们利用 Bures-Wasserstein 流形的几何结构，通过黎曼优化来优化 GMM 策略的高斯分布。我们在常见的机器人场景中评估了我们的方法：到达运动、避碰行为和多目标任务。我们的结果表明，在任务成功率和低方差解方面，我们的方法优于常见的策略优化基线。
引用
@article{arxiv.2305.10411,
title = {Wasserstein Gradient Flows for Optimizing Gaussian Mixture Policies},
author = {Hanna Ziesche and Leonel Rozo},
journal= {arXiv preprint arXiv:2305.10411},
year = {2023}
}