通过 FES 驱动人体肢体的神经肌肉强化学习
机器学习
2022-09-19 v1 机器人学
摘要
功能性电刺激（FES）是一种通过低能量电信号引发肌肉收缩的技术。FES 可使瘫痪肢体产生运动。然而，如何应用 FES 实现期望的运动仍是一个开放性挑战。人体结构的复杂性以及肌肉反应的非平稳性加剧了这一挑战。前者导致逆动力学难以执行，后者导致控制性能在长期使用中退化。在此，我们通过数据驱动的方法应对该挑战。具体而言，我们学习通过强化学习（RL）控制 FES，其可自动为患者定制刺激。然而，RL 通常具有马尔可夫假设，而由于非平稳性，FES 控制系统是非马尔可夫的。为处理此问题，我们使用循环神经网络来创建马尔可夫状态表示。我们将 FES 控制转化为 RL 问题，并训练 RL 智能体在仿真与真实世界的不同设置中控制 FES。结果表明，我们的 RL 控制器能在长时间内保持控制性能，并具有比 PID 控制器更优的刺激特性。
引用
@article{arxiv.2209.07849,
title = {Neuromuscular Reinforcement Learning to Actuate Human Limbs through FES},
author = {Nat Wannawas and Ali Shafti and A. Aldo Faisal},
journal= {arXiv preprint arXiv:2209.07849},
year = {2022}
}
备注
Accepted manuscript IFESS 2022 (RehabWeek 2022)