利用专家观测从像素中学习
机器人学
2023-07-25 v2 人工智能
机器学习
摘要
在强化学习（RL）中，稀疏奖励会带来显著挑战。幸运的是，可利用专家动作来克服该问题。然而，获取显式专家动作可能代价高昂，而专家观测通常更易获得。本文提出一种新方法，利用专家观测在从像素观测中进行稀疏奖励的机器人操作任务学习。具体而言，我们的技术涉及将专家观测用作目标条件RL智能体的中间视觉目标，使其能通过依次达到一系列目标来完成任务。我们在仿真中的五项具有挑战性的积木构建任务中证明了方法的有效性，并表明当与两种最先进智能体结合时，我们的方法能显著提升其性能，同时在训练期间仅需少4-20倍的专家动作。此外，我们的方法也优于一个分层基线。
引用
@article{arxiv.2306.13872,
title = {Learning from Pixels with Expert Observations},
author = {Minh-Huy Hoang and Long Dinh and Hai Nguyen},
journal= {arXiv preprint arXiv:2306.13872},
year = {2023}
}
备注
Accepted at IROS-2023 (Detroit, USA), the first two authors contributed equally