基于持续同调的记忆聚类用于多模态与间断敏感的最优控制热启动学习
机器人学
2021-03-25 v3 机器学习
摘要
打靶法是求解非线性最优控制问题的高效方法。由于采用局部优化，当以良好的热启动初始化时表现出良好的收敛性，但若给定较差的初始猜测则可能完全不收敛。近期工作聚焦于从离线探索问题空间时生成的样本所训练的习得模型中提供初始猜测。然而在实践中，解包含由系统动力学或环境引入的间断性。此外，许多情况下存在多个同等合适的即多模态的解来求解问题。经典学习方法在这些间断边界上平滑，从而泛化性差。本工作中，我们应用代数拓扑工具提取解空间底层结构的信息。具体地，我们引入一种基于持续同调的方法，自动聚类预计算解的数据集以获得不同的候选初始猜测。然后我们在每个聚类中训练一个专家混合以预测状态和控制的轨迹来热启动最优控制求解器，并与模态不可知学习进行比较。我们在 cart-pole 玩具问题以及避障四旋翼上演示了方法，并显示基于固有结构聚类样本可改善热启动质量。
引用
@article{arxiv.2010.01024,
title = {Memory Clustering using Persistent Homology for Multimodality- and Discontinuity-Sensitive Learning of Optimal Control Warm-starts},
author = {Wolfgang Merkt and Vladimir Ivan and Traiko Dinev and Ioannis Havoutis and Sethu Vijayakumar},
journal= {arXiv preprint arXiv:2010.01024},
year = {2021}
}
备注
12 pages, 10 figures, accepted as a regular paper in IEEE Transactions on Robotics (T-RO). Supplementary video: https://youtu.be/lUULTWCFxY8 Code: https://github.com/wxmerkt/topological_memory_clustering The first two authors contributed equally