基于无模型约束强化学习的移动机械臂动态目标物体推动

非抓取式推动以移动和重新定向物体至目标位置是一种通用的移动操作技能。在现实世界中，物体的物理属性及其与地面的摩擦力存在显著不确定性，这使得该任务对移动机械臂而言颇具挑战。本文为移动机械臂开发了一种基于学习的控制器，通过一系列推动动作将未知物体移动到期望的位置和偏航方向。所提出的用于机械臂和移动底座运动的控制器采用约束强化学习（RL）公式进行训练。我们在配备机械臂的四足机器人实验中展示了其能力。学习到的策略在仿真中实现了91.35%的成功率，在具有挑战性的硬件场景中成功率至少达到80%。通过广泛的硬件实验，我们表明该方法对具有不同质量、材料、尺寸和形状的未知物体表现出高鲁棒性。它能够反应式地发现推动位置和方向，从而在仅观测物体位姿的情况下实现接触丰富的行为。此外，我们还展示了学习到的策略在防止物体倾倒方面的自适应行为。