高维肌骨模型中无演示强化学习的自然且鲁棒行走
机器人学
2023-09-08 v2 机器学习
摘要
人类擅长在复杂自然环境中稳健双足行走。每一步中，他们恰当地调节生物力学肌肉动力学与神经信号的相互作用，以对地面条件的不确定性保持鲁棒。然而，神经系统如何消解肌骨冗余以求解兼顾稳定性、鲁棒性与能效的多目标控制问题，仍未被完全理解。在计算机仿真中，能量最小化已被证明是成功的优化目标，可通过轨迹优化或基于反射的控制方法复现自然行走。但这些方法一次仅关注特定运动，所得控制器在补偿扰动时受限。在机器人学中，强化学习（Reinforcement Learning, RL）方法近期在四足系统上实现了高度稳定（且高效）的运动，但用双足生物力学模型生成类人行走需大量使用专家数据集。这种对演示的强烈依赖常导致脆弱策略，并限制向新行为的应用，尤其考虑到 3D 高维肌骨模型潜在的运动多样性。以 RL 实现自然运动而不牺牲其极强鲁棒性，或可为研究复杂自然环境中人类行走开辟新途径。视频：https://sites.google.com/view/naturalwalkingrl
引用
@article{arxiv.2309.02976,
title = {Natural and Robust Walking using Reinforcement Learning without Demonstrations in High-Dimensional Musculoskeletal Models},
author = {Pierre Schumacher and Thomas Geijtenbeek and Vittorio Caggiano and Vikash Kumar and Syn Schmitt and Georg Martius and Daniel F. B. Haeufle},
journal= {arXiv preprint arXiv:2309.02976},
year = {2023}
}