二阶 Stein 变分动力学优化

我们提出了一种基于 Stein 变分牛顿法和最大熵微分动力学规划的二阶轨迹优化算法。该算法称为 Stein 变分微分动力学规划，是最大熵微分动力学规划的一种核方法扩展，融合了基于抽样与基于梯度优化两方面的优势。该算法避免了梯度基于动力学优化在容易陷入局部最小值方面的已知缺陷，同时克服了基于抽样的随机优化在在线应用时引入不可取随机性的局限。为测试所提算法的有效性，本文进行了轨迹优化和模型预测控制的实验。实验包括与单峰和多峰最大熵微分动力学规划以及模型预测路径积分控制及其多峰和 Stein 变分扩展的比较。结果表明，所提算法表现出优越性能，并确认了在轨迹优化和模型预测控制中存在介于抽样与基于梯度优化之间的中间地带，这一中间地带确实对动力学优化有益。本文探讨了这些不同的机制，并展示了它们在处理轨迹优化和模型预测控制中遇到的非凸动力学问题时的优势。