面向强扰动抑制的带转移失配补偿的模块化迁移学习
机器人学
2020-07-30 v1 机器学习
系统与控制
系统与控制
摘要
浅水区的水下机器人通常遭受强波浪力，其可能频繁超出机器人的控制约束。基于学习的控制器适用于扰动抑制控制，但过大的扰动会严重影响马尔可夫决策过程(MDP)或部分可观测马尔可夫决策过程(POMDP)中的状态转移。此外，在目标系统上的纯学习过程可能遭遇破坏性的探索动作或不可预测的系统变化，而仅在先验模型上训练通常无法解决来自目标系统的模型失配。本文提出一种迁移学习框架，在动力学模型失配下使控制策略适应于水下机器人的强扰动抑制。我们采用了由广义控制策略(GCP)与在线扰动辨识模型(ODI)组成的模块化学习策略网络。GCP首先在大量扰动波形上训练。ODI随后学习利用系统的过去状态与动作来预测扰动波形，并将其作为GCP(连同系统状态)的输入。基于该模块化架构，我们开发了使用转移失配补偿(TMC)的迁移强化学习算法，通过学习额外的补偿策略来最小化源任务与目标任务两个动力学模型预测的转移失配。我们在仿真中的位姿调节任务上证明，TMC能够成功抑制扰动并在机器人系统的经验模型下稳定机器人，同时提高样本效率。
引用
@article{arxiv.2007.14646,
title = {Modular Transfer Learning with Transition Mismatch Compensation for Excessive Disturbance Rejection},
author = {Tianming Wang and Wenjie Lu and Huan Yu and Dikai Liu},
journal= {arXiv preprint arXiv:2007.14646},
year = {2020}
}