面向富接触操作的稳定性保证强化学习
机器人学
2020-09-29 v2
摘要
强化学习 (RL) 在富接触操作任务中已取得相当的成功，但在从阻抗控制和稳定性保证等机器人控制理论的进展中获益方面仍然滞后。近期，变阻抗控制 (VIC) 的概念被引入 RL 中，并取得了令人鼓舞的成果。然而，更为重要的稳定性问题仍未得到解决。为了阐明稳定 RL 中的挑战，我们引入了“全程稳定性”这一术语，明确表示每一次可能的 rollout 都将获得稳定性认证。我们的贡献是一种无模型 RL 方法，它不仅采用了 VIC，还实现了全程稳定性。以近期提出的一种稳定 VIC 控制器作为策略参数化基础，我们引入了一种受交叉熵方法启发且内在保证稳定性的新型策略搜索算法。我们的实验研究证实了稳定性保证的可行性与实用性，并且据我们所知，在 peg-in-hole 基准问题上首次成功应用了具备全程稳定性的 RL。
引用
@article{arxiv.2004.10886,
title = {Stability-Guaranteed Reinforcement Learning for Contact-rich Manipulation},
author = {Shahbaz A. Khader and Hang Yin and Pietro Falco and Danica Kragic},
journal= {arXiv preprint arXiv:2004.10886},
year = {2020}
}
备注
Accepted at Robotics and Automation Letters