GOATS：基于课程强化学习的水舀目标采样自适应
机器人学
2023-09-26 v4 人工智能
机器学习
摘要
在本工作中，我们首先使用目标条件强化学习形式化机器人舀水问题。该任务因流体复杂动力学及需达成多模态目标而尤为困难。策略须成功抵达位置目标与水量目标，这导致一个庞大且纠缠的目标状态空间。为克服这些挑战，我们提出舀取目标采样自适应（GOATS），一种可为机器人舀取任务学习有效且可泛化策略的课程强化学习方法。具体而言，我们使用目标分解奖励公式，并对位置目标分布与水量目标分布进行插值以在学习过程中构建课程。结果表明，我们的方法在仿真中优于基线，并在碗舀取与桶舀取任务上分别取得 5.46% 与 8.71% 的水量误差（于水箱内 1000 种初始水状态变化及大目标状态空间下）。除在仿真环境中有效外，我们的方法能高效适配具多样物理配置与未知设置的噪声真实机器人舀水场景，展现出优越效能与泛化性。本工作视频见项目页：https://sites.google.com/view/goatscooping。
引用
@article{arxiv.2303.05193,
title = {GOATS: Goal Sampling Adaptation for Scooping with Curriculum Reinforcement Learning},
author = {Yaru Niu and Shiyu Jin and Zeqing Zhang and Jiacheng Zhu and Ding Zhao and Liangjun Zhang},
journal= {arXiv preprint arXiv:2303.05193},
year = {2023}
}