利用扩散模型和受约束的梯度引导学习多样化机器人击球运动

机器人学习的进展使机器人能够为各种任务生成技能。然而，机器人学习通常样本效率不高，难以从表现出多样化行为的数据源中学习，无法自然地纳入约束。这些属性对于快速而敏捷的任务（如乒乓球）至关重要。现代的从演示中学习技术提高了样本效率并扩展到多样化的数据，但很少在敏捷任务上进行评估。在强化学习的情况下， achieving good performance requires training on high-fidelity simulators。为克服这些限制，我们发展了一种新的扩散建模方法，该方法是离线的、受约束引导的，并且能够表达多样化的敏捷行为。我们方法的关键是一种运动学约束梯度引导 (KCGG) 技术，该技术通过机器人机械臂的正向运动学和扩散模型计算梯度，以引导采样过程。KCGG 在最小化违反约束的成本的同时，保持所采样的轨迹处于训练数据的分布范围内。我们通过在两个具有挑战性的领域中评估 KCGG 来展示该方法的有效性：模拟空气曲棍球和真实乒乓球。在模拟空气曲棍球中，我们实现了 25.4% 的挡球率提高，而在乒乓球中，我们比模仿学习基线实现了 17.3% 的成功率提高。