四足机器人 bipedalism：通过风险自适应强化学习实现灵活的 loco-manipulation

四足机器人的 loco-manipulation 已拓宽了机器人应用领域，但将腿作为操作臂往往会妥协于 locomotion，而安装机械臂则会使系统复杂化。为缓解此问题，我们引入了四足机器人的 bipedalism，从而释放前腿用于与环境进行灵活的交互。我们提出了一种风险自适应分布式强化学习（RL）框架，旨在用于四足机器人在后腿行走的情况下，平衡最坏情况保守性与最优性能，以应对这一本质不稳定的任务。在训练期间，基于估计回报分布的系数变异（coefficient of variation）不确定性，动态调整自适应风险偏好。大量仿真实验表明，我们的方法在基线方法之外具有优越性能。实际部署在 Unitree Go2 机器人上进一步证明了我们的策略具有多样性，能够执行 cart pushing、obstacle probing 和 payload transport 等任务，同时在面对挑战性动力学和外部扰动时展现出鲁棒性。