四旋翼的模型辅助强化学习
机器人学
2023-11-14 v1
摘要
近年来,强化学习在高度非线性系统的控制任务中取得了令人惊讶的成果。其令人印象深刻的性能总是掩盖了智能体在真实世界中部署时潜在的脆弱性或不确定性。尽管相较于经典控制算法表现卓越,基于强化学习的方法存在两个缺陷:鲁棒性与可解释性,而这两点对当代现实应用至关重要。本文试图缓解此类强化学习问题,提出模型辅助强化学习的概念,以在智能体中引入保守性意识。实验所考虑的控制任务为操控 CrazyFlie 四旋翼进行导航。本文还描述了一种重构任务的方法,以通过多目标强化学习灵活调节保守性程度。结果包括原始强化学习方法与所提方法的对比。通过系统性地注入扰动来评估指标,以划分智能体的固有鲁棒性与保守性。通过求解 Hamilton-Jacobi-Bellman 偏微分方程(HJ PDE)计算并比较 RL 策略的反向可达管,给出了更具体的论证。
引用
@article{arxiv.2311.06914,
title = {Model-assisted Reinforcement Learning of a Quadrotor},
author = {Arshad Javeed},
journal= {arXiv preprint arXiv:2311.06914},
year = {2023}
}