基于强化学习的下肢外骨骼拐杖受力最小化控制器
机器人学
2024-02-02 v1 人工智能
系统与控制
系统与控制
摘要
动力下肢外骨骼使用者的代谢能量消耗主要来自上半身的发力，因为下半身被认为是被动的。然而，在设计运动控制器时，文献中很大程度上忽略了使用者的上半身发力。在本工作中，我们使用深度强化学习开发了一种最小化拐杖上地面反作用力（GRF）的运动控制器。最小化 GRF 的基本原理是减少使用者的上半身发力。因此，我们为带有拐杖的人-外骨骼系统设计了一个模型和学习框架。我们设计了一个奖励函数，以在满足物理机器人预定约束的同时，鼓励人-外骨骼系统的向前位移。我们在 MuJoCo 物理模拟器上，使用最先进的深度强化学习（RL）方法 Proximal Policy Optimization，通过多次试验评估了我们的新框架，并测试了不同的超参数和网络架构。我们凭经验表明，我们的学习模型能够基于关节角度、速度以及脚和拐杖尖端的 GRF 生成关节力矩。由此产生的外骨骼模型能够根据 RL 框架直接从状态生成关节力矩。最后，我们凭经验表明，使用我们的方法训练的策略生成的步态，其 GRF 相比基线减少了 35%。
引用
@article{arxiv.2402.00135,
title = {A Reinforcement Learning Based Controller to Minimize Forces on the Crutches of a Lower-Limb Exoskeleton},
author = {Aydin Emre Utku and Suzan Ece Ada and Muhammet Hatipoglu and Mustafa Derman and Emre Ugur and Evren Samur},
journal= {arXiv preprint arXiv:2402.00135},
year = {2024}
}
备注
6 pages, 5 Figures