基于不确定性感知的接触安全模型强化学习
机器人学
2021-03-10 v3 机器学习
摘要
本通讯提出了面向机器人应用的接触安全模型强化学习（MBRL），可在学习过程中实现接触安全行为。在典型 MBRL 中，由于样本稀缺，我们无法期望数据驱动模型在学习过程中生成准确可靠的策略以完成预期机器人任务。在富含接触的环境中执行这些不可靠策略可能对机器人及其周边造成损坏。为减轻由意外强烈物理接触导致损坏的风险，我们提出接触安全 MBRL，将概率模型预测控制（pMPC）的控制限与模型不确定性相关联，从而根据学习进展调整受控行为所允许的加速度。此类具不确定性感知控制限的控制规划被表述为一个确定性 MPC 问题，采用计算高效的近似 GP 动力学与近似推断技术。我们通过模拟与真实机器人的碗状混合任务、真实机器人的舀取任务作为富含接触操作技能的示例，评估了方法的有效性（视频：https://youtu.be/sdhHP3NhYi0）。
引用
@article{arxiv.2010.08169,
title = {Uncertainty-aware Contact-safe Model-based Reinforcement Learning},
author = {Cheng-Yu Kuo and Andreas Schaarschmidt and Yunduan Cui and Tamim Asfour and Takamitsu Matsubara},
journal= {arXiv preprint arXiv:2010.08169},
year = {2021}
}
备注
8 pages, Accepted by Robotics and Automation Letters with ICRA 2021 option