重访最优控制中学习问题的隐式微分
机器学习
2023-10-24 v1
摘要
本文提出一种利用隐函数定理（IFT）对非凸、带约束的离散时间最优控制（COC）问题所产生的最优轨迹进行微分的新方法。先前工作通过求解微分Karush-Kuhn-Tucker（KKT）系统获得轨迹导数，并通过求解一个辅助的线性二次调节器（LQR）问题来高效实现。相反，我们直接求解在对（微分）KKT系统中的拉格朗日乘子项进行变量消元后出现的矩阵方程。通过适当利用所得方程中各项的结构，我们证明轨迹导数随 timestep 数量线性缩放。此外，与先前工作相比，我们的方法易于并行化、随模型规模的可扩展性显著改善、可直接计算向量-雅可比积且数值稳定性更优。作为额外贡献，我们统一了先前工作，澄清了关于使用IFT计算轨迹导数随 timestep 数量二次缩放的说法。我们在合成基准以及四个具有挑战性的示教学习基准（包括6自由度机动四旋翼与6自由度火箭动力着陆）上评估了我们的方法。
引用
@article{arxiv.2310.14466,
title = {Inferring Relational Potentials in Interacting Systems},
author = {Armand Comas-Massagué and Yilun Du and Christian Fernandez and Sandesh Ghimire and Mario Sznaier and Joshua B. Tenenbaum and Octavia Camps},
journal= {arXiv preprint arXiv:2310.14466},
year = {2023}
}
备注
Published at ICML 2023 (Oral)