QuaDUE-CCM：基于不确定收缩度量的可解释分布强化学习用于四旋翼精确轨迹跟踪
机器人学
2022-07-19 v1 系统与控制
系统与控制
摘要
精度与稳定性是四旋翼轨迹跟踪系统的常见要求。设计准确且稳定的跟踪控制器仍然具有挑战性，尤其是在存在复杂气动扰动的未知动态环境中。我们提出一种基于分位数近似的分布强化不确定性估计器（QuaDUE），以准确辨识气动扰动的影响，即真实与控制收缩度量（CCM）之间的不确定性。受收缩理论启发并集成 QuaDUE 处理不确定性，我们新颖的基于 CCM 的轨迹跟踪框架可精确跟踪任意可行参考轨迹，同时保证指数收敛。更重要的是，从理论角度分别保证并分析了分布强化学习（RL）的收敛性与训练加速。我们还在未知且多样的气动力下演示了我们的系统。在大气动力（>2m/s^2）下，与经典数据驱动方法相比，我们的 QuaDUE-CCM 在跟踪误差上实现了至少 56.6% 的改进。与基于分布 RL 的方法 QuaDRED-MPC 相比，QuaDUE-CCM 在收缩率上实现了至少 3 倍的改进。
引用
@article{arxiv.2207.07789,
title = {QuaDUE-CCM: Interpretable Distributional Reinforcement Learning using Uncertain Contraction Metrics for Precise Quadrotor Trajectory Tracking},
author = {Yanran Wang and James O'Keeffe and Qiuchen Qian and David Boyle},
journal= {arXiv preprint arXiv:2207.07789},
year = {2022}
}
备注
18 pages, 9 figures, Quadrotor trajectory tracking, Learning-based control