回溯经验回放及其在软体蛇形机器人无模型强化学习中的应用
机器人学
2024-09-25 v2 机器学习
摘要
在本文中，我们提出了一种新颖的技术——回溯经验回放（BER），它兼容任意离策略强化学习（RL）算法。BER 旨在提高近似可逆系统的学习效率，减少对复杂奖励塑形的需求。该方法利用回溯转移构建反向轨迹，以到达随机或固定目标。BER 可解释为一种双向方法，它通过在学习过程中对回放经验进行提炼来解决回溯转移中的不准确性。鉴于软体机器人的复杂特性及其与环境的复杂交互，我们展示了 BER 在软体蛇形机器人无模型 RL 方法中的应用，用于其运动与导航，该机器人能够通过身体与地面之间的各向异性摩擦实现蜿蜒运动。此外，我们开发了一个动态模拟器来评估 BER 算法的有效性和效率，在该模拟器中，机器人展现出成功的学习（达到 100% 的成功率）并熟练地到达随机目标，平均速度比最佳基线方法快 48%。
引用
@article{arxiv.2401.11372,
title = {Back-stepping Experience Replay with Application to Model-free Reinforcement Learning for a Soft Snake Robot},
author = {Xinda Qi and Dong Chen and Zhaojian Li and Xiaobo Tan},
journal= {arXiv preprint arXiv:2401.11372},
year = {2024}
}
备注
This paper has been published on IEEE Robotics and Automation Letters. Digital Object Identifier 10.1109/LRA.2024.3427550