基于神经力学的FES骑行中神经刺激控制的深度强化学习
机器学习
2021-04-05 v2
摘要
功能性电刺激(FES)可恢复瘫痪者肌肉的运动能力。然而,控制刺激多块肌肉以恢复整个肢体的实用功能仍是一个未解决的问题。当前的神经刺激工程仍依赖20世纪的控制方法,相应仅展现出有限的结果,且需每日调试方能运行。在此,我们呈现为FES骑行中瘫痪腿的实时自适应神经刺激所开发的先进深度强化学习(RL)。我们方法的核心是将个性化神经力学组件集成到强化学习框架中,使我们能够高效训练模型,而无需患者长时间的训练会话且开箱即用。我们的神经力学组件融合了肌肉与肌腱功能的肌骨模型以及肌肉疲劳的多状态模型,以使神经刺激对截瘫骑行者瞬时肌肉能力作出响应。我们的RL方法在精度与性能上优于PID与模糊逻辑控制器。关键在于,我们的系统学会了从起步加速到稳态竞赛中随肌肉疲劳维持高踏频来刺激骑行者的腿。我们的RL神经刺激系统的一部分已在2020 Cybathlon仿生奥运会的FES项目中成功部署,我们的截瘫骑行者在9支参赛队伍中赢得银牌。
引用
@article{arxiv.2103.03057,
title = {Neuromechanics-based Deep Reinforcement Learning of Neurostimulation Control in FES cycling},
author = {Nat Wannawas and Mahendran Subramanian and A. Aldo Faisal},
journal= {arXiv preprint arXiv:2103.03057},
year = {2021}
}
备注
Conference proceedings: 10th International IEEE EMBS Conference on Neural Engineering