在强化学习中生成逼真的手臂运动：奖励项与任务要求的定量比较
机器人学
2024-12-02 v2
摘要
模仿类人手臂运动特征需要在控制策略合成中考虑三个因素：(a) 选择的任务要求，(b) 运动执行过程中噪声的包含，以及 (c) 选择的最优性原理。先前的研究表明，当单独考虑这些因素(a-c)时，可以合成出在运动学上匹配实验数据或再现典型三相肌肉激活模式的手臂运动。然而，迄今为止，尚未对每个因素生成的手臂运动的逼真程度进行定量比较，也未对部分或全部因素的组合是否会产生具有类人运动学特征和三相肌肉模式的手臂运动进行定量比较。为了研究这一点，我们使用强化学习为肌肉骨骼手臂模型学习控制策略，旨在根据四个经常报告的典型特征，辨别哪些因素组合(a-c)能产生逼真的手臂运动。我们的研究结果表明，将速度和加速度要求纳入到达任务，使用鼓励最小化机械功、手部急动度和控制努力的奖励项，以及在运动过程中包含噪声，会导致强化学习中产生逼真的人类手臂运动。我们期望所获得的见解将有助于未来更好地预测可穿戴辅助设备中的期望手臂运动和矫正力。
引用
@article{arxiv.2402.13949,
title = {Generating Realistic Arm Movements in Reinforcement Learning: A Quantitative Comparison of Reward Terms and Task Requirements},
author = {Jhon P. F. Charaja and Isabell Wochner and Pierre Schumacher and Winfried Ilg and Martin Giese and Christophe Maufroy and Andreas Bulling and Syn Schmitt and Georg Martius and Daniel F. B. Haeufle},
journal= {arXiv preprint arXiv:2402.13949},
year = {2024}
}