基于风险厌恶策略学习的鲁棒四足运动

腿式运动的鲁棒性对于在复杂地形中的四足机器人至关重要。近年来，强化学习（RL）在腿式运动中展现出有前景的结果，多种方法试图通过特权蒸馏、场景建模和外部传感器来提升运动策略的泛化性与鲁棒性。然而，这些方法难以应对地形突变或意外外力等不确定场景。本文从一种新颖的风险敏感视角出发来增强腿式运动的鲁棒性。具体而言，我们采用通过分位数回归学习的分布值函数来建模环境的不确定性（aleatoric uncertainty），并利用风险扭曲度量优化最坏情况场景，从而进行风险厌恶策略学习。在仿真环境及真实 Aliengo 机器人上的大量实验表明，我们的方法能高效处理各类外部扰动，所得策略在腿式运动的恶劣与不确定情境中表现出改进的鲁棒性。视频见 https://risk-averse-locomotion.github.io/。