基于 NAF 强化学习的生物力学模拟中肌肉激励估计
机器学习
2019-10-29 v2 机器人学
机器学习
摘要
运动控制是一组时变肌肉激励，其为生物力学系统生成期望运动。肌肉激励无法从活体受试者直接测量。一种替代方法是通过逆运动驱动仿真估计肌肉激活。本文中，我们提出一种深度强化学习方法来估计仿真生物力学系统中的肌肉激励。此处，我们引入定制的奖励函数以激励对目标运动更快的点到点跟踪。此外，我们部署两种新技术，即基于回合的硬更新和双缓冲经验回放，以避免反馈训练循环。所提方法在四个具有 6 至 24 条轴向肌肉的仿真 2D 和 3D 环境中测试。结果显示模型在近 100,000 个仿真步后能够学习给定运动的肌肉激励。此外，跨实验的目标点到点到达的均方根误差小于运动域长度的 1%。我们的强化学习方法远不同于常规动力学方法，因为肌肉控制由一组分布式神经元以函数方式导出。这可为该现象的神经活动解释开辟路径。
引用
@article{arxiv.1809.06121,
title = {Muscle Excitation Estimation in Biomechanical Simulation Using NAF Reinforcement Learning},
author = {Amir H. Abdi and Pramit Saha and Praneeth Srungarapu and Sidney Fels},
journal= {arXiv preprint arXiv:1809.06121},
year = {2019}
}
备注
9 pages, 3 figures. Computational Biomechanics for Medicine. MICCAI 2019. Springer, Cham