KeyCLD：从图像中以关键点坐标学习约束拉格朗日动力学
机器学习
2024-04-24 v2 系统与控制
系统与控制
摘要
我们提出 KeyCLD，一个从图像中学习拉格朗日动力学的框架。学习到的关键点表示图像中的语义地标，并可直接表征状态动力学。我们表明，将此状态解释为笛卡尔坐标，并结合显式完整约束，可用约束拉格朗日量表达动力学。KeyCLD 在图像序列上以无监督端到端方式训练。我们的方法显式建模质量矩阵、势能与输入矩阵，从而允许基于能量的控制。我们在 dm_control 的 pendulum、cartpole 与 acrobot 环境中展示了从图像学习拉格朗日动力学。KeyCLD 可在这些系统上学习，无论其为无驱动、欠驱动还是全驱动。训练后的模型能够生成长期视频预测，表明动力学被准确学习。我们与 Lag-VAE、Lag-caVAE 和 HGN 比较，并探究拉格朗日先验与约束函数的益处。KeyCLD 在所有基准上取得最高的有效预测时间。此外，一种非常直接的能量整形控制器成功应用于全驱动系统。请参阅我们的项目页面获取代码与额外结果：https://rdaems.github.io/keycld/
引用
@article{arxiv.2206.11030,
title = {KeyCLD: Learning Constrained Lagrangian Dynamics in Keypoint Coordinates from Images},
author = {Rembert Daems and Jeroen Taets and Francis wyffels and Guillaume Crevecoeur},
journal= {arXiv preprint arXiv:2206.11030},
year = {2024}
}