基于强化学习的肌肉控制器对人体平衡特性的刻画
机器学习
2023-08-10 v1 机器人学
系统与控制
系统与控制
摘要
物理康复期间的平衡评估通常依赖基于量表的成套测试来评定患者的身体能力，这导致主观性。尽管存在一些客观的平衡评估方法，但它们往往仅限于追踪压力中心（COP），无法充分捕捉全身姿势稳定性。本研究探索使用质心（COM）状态空间，并为监测人体平衡能力提供了一条有前景的途径。我们采用一个集成平衡控制器的肌肉骨骼模型，该控制器通过强化学习（RL）训练，以研究平衡能力。RL框架由两个相互连接的神经网络组成，分别控制平衡恢复与肌肉协调，使用带参考状态初始化、提前终止和多种训练策略的近端策略优化（PPO）进行训练。通过探索训练后控制器从随机初始COM状态（位置与速度）空间的恢复情况，我们获得了包含成功平衡恢复轨迹的最终平衡恢复区域（BR）。将BR与线性倒立摆模型的解析姿势稳定性极限进行比较，我们观察到成功COM状态具有相似趋势，但可恢复区域范围更为有限。我们进一步研究了肌肉无力和神经兴奋延迟对BR的影响，揭示了不同区域中平衡能力的下降。总体而言，我们这种学习肌肉平衡控制器的方法为建立双足系统（尤其是人类）的平衡恢复极限和客观评估平衡能力提供了一种有前景的新方法。
引用
@article{arxiv.2308.04462,
title = {Characterization of Human Balance through a Reinforcement Learning-based Muscle Controller},
author = {Kübra Akbaş and Carlotta Mummolo and Xianlian Zhou},
journal= {arXiv preprint arXiv:2308.04462},
year = {2023}
}