关注你的驾驶方式：面向越野驾驶的基于模型的安全自适应强化学习
机器人学
2023-10-16 v1
摘要
自主越野驾驶具有挑战性，因为机器人采取的危险动作可能导致灾难性损坏。因此，在仿真中开发控制器通常是可取的，因为它提供了一种更安全、更经济的替代方案。然而，由于非结构化环境中复杂的机器人动力学与地形交互，准确建模机器人动力学十分困难。域随机化通过随机化仿真动力学参数来解决此问题，但这种方法以牺牲性能换取鲁棒性，导致针对任何目标动力学均为次优的策略。我们提出了一种新颖的基于模型的强化学习方法，旨在平衡鲁棒性与适应性。我们的方法在多种仿真动力学下训练系统辨识Transformer (System Identification Transformer, SIT) 和自适应动力学模型 (Adaptive Dynamics Model, ADM)。SIT 使用注意力机制将目标系统的状态转移观测提炼为上下文向量，为其目标动力学提供抽象表示。在此基础上，ADM 以概率方式对系统动力学建模。在线时，我们使用风险感知模型预测路径积分控制器 (Risk-Aware Model Predictive Path Integral, MPPI) 在当前动力学理解下安全控制机器人。我们在仿真以及多个真实环境中证明，该方法在初始化时即实现更安全的行为，并随着对目标系统动力学理解的改善（通过更多观测）变得不那么保守（即更快）。具体而言，我们的方法在不同环境中保持安全的同时，相较非自适应基线实现了约 41% 的圈速提升。
引用
@article{arxiv.2310.08674,
title = {Pay Attention to How You Drive: Safe and Adaptive Model-Based Reinforcement Learning for Off-Road Driving},
author = {Sean J. Wang and Honghao Zhu and Aaron M. Johnson},
journal= {arXiv preprint arXiv:2310.08674},
year = {2023}
}