基于层次强化学习的粗糙地形上动态四足球球操控
机器人学
2025-04-22 v1
摘要
发展四足机器人在复杂地形上进行动态 loco-manipulation 能力对于执行多样化任务至关重要。具体来说，粗糙环境中的动态球球操控提出了两个关键挑战。第一个是协调不同运动模态，以无缝集成地形遍历和球体控制。第二个是克服端到端深度强化学习中的稀疏奖励，这会阻碍策略的有效收敛。为此，我们提出了一种层次强化学习框架。高层策略基于本体感知数据和球的位置，自适应地在预训练的低层技能（如球控和粗糙地形导航）之间切换。我们进一步提出了面向动态技能的策略优化，以抑制来自不活跃技能的梯度并增强关键技能的学习。仿真和实际实验均表明，我们的方法在粗糙地形上的动态球操控中优于基线方法，凸显了其在挑战性环境中的有效性。视频可在我们的网站上观看：dribble-hrl.github.io。
引用
@article{arxiv.2504.14989,
title = {Dynamic Legged Ball Manipulation on Rugged Terrains with Hierarchical Reinforcement Learning},
author = {Dongjie Zhu and Zhuo Yang and Tianhang Wu and Luzhou Ge and Xuesong Li and Qi Liu and Xiang Li},
journal= {arXiv preprint arXiv:2504.14989},
year = {2025}
}