基于Actor-critic强化学习模仿完整人膝曲线的机器人膝关节跟踪控制
机器人学
2023-03-31 v1 系统与控制
系统与控制
摘要
我们探讨一种最先进的强化学习（RL）控制方法，用于自动配置机器人假肢阻抗参数，以实现面向经股截肢受试者的端到端连续行走。具体而言，我们基于actor-critic的RL提供机器人膝关节假肢的跟踪控制以模仿完整膝关节曲线。这相对于我们先前基于RL的假肢控制参数自动整定是一个显著进步，后者集中于以设计者规定的机器人膝关节曲线为目标的调节控制。除了给出基于直接启发式动态规划（dHDP）的完整跟踪控制算法外，我们还提供了带约束输入的跟踪控制器分析框架。我们证明所提出的跟踪控制具有若干重要性质，如学习网络的权值收敛性、代价函数值函数和控制输入的Bellman（次）最优性，以及人在环机器人系统在输入约束下的实用稳定性。我们进一步使用现实的人机系统模拟器OpenSim对所提跟踪控制进行系统仿真，以模拟dHDP如何实现平地行走、不同地形和不同步速下的行走。这些结果表明，我们提出的基于dHDP的跟踪控制不仅在理论上合适，而且具有实际效用。
引用
@article{arxiv.2101.09334,
title = {Robotic Knee Tracking Control to Mimic the Intact Human Knee Profile Based on Actor-critic Reinforcement Learning},
author = {Ruofan Wu and Zhikai Yao and Jennie Si and He and Huang},
journal= {arXiv preprint arXiv:2101.09334},
year = {2023}
}