针对动作扰动的离线强化学习在机器人控制中的鲁棒性评估

离线强化学习通过仅从数据集中学习而无需环境交互，日益受到关注。这种方法类似于传统的在线深度强化学习，在机器人控制应用中尤为有前景。然而，其对现实世界挑战（如机器人关节执行器故障）的鲁棒性仍是一个关键关切。本研究基于平均每回合奖励，使用来自OpenAI Gym的四足机器人评估现有离线强化学习方法的鲁棒性。为进行鲁棒性评估，我们通过将随机和对抗性扰动纳入关节扭矩信号中来模拟故障，代表最坏的情况。我们的实验显示，现有的离线强化学习方法对这些动作扰动表现出显著的脆弱性，并且比在线强化学习方法更脆弱，这凸显了该领域需要更鲁棒的方法。