通过潜在最近邻引导探索从像素学习稀疏控制任务
机器人学
2023-03-01 v1
摘要
深度强化学习（RL）和计算机视觉的最新进展使人工智能体能够解决复杂任务，包括基于高维像素观测的移动、操作和视频游戏。然而，特定领域的奖励函数通常是经过精心设计的，以提供充足的学习信号，这需要专家知识。虽然仅使用稀疏奖励训练基于视觉的 RL 智能体是可能的，但探索方面会出现额外的挑战。我们提出了一种新颖且高效的方法，仅利用少量演示从图像观测中解决稀疏奖励机器人操作任务。首先，我们从演示转移中学习一个嵌入式神经动力学模型，并使用经验回放池进一步微调它。接下来，我们使用在嵌入空间中定义的距离度量，奖励智能体使其保持在演示轨迹附近。最后，我们使用离策略、无模型视觉 RL 算法来更新控制策略。我们的方法在仿真中实现了 SOTA 的样本效率，并能够高效地训练真实的 Franka Emika Panda 操作器。
引用
@article{arxiv.2302.14242,
title = {Learning Sparse Control Tasks from Pixels by Latent Nearest-Neighbor-Guided Explorations},
author = {Ruihan Zhao and Ufuk Topcu and Sandeep Chinchali and Mariano Phielipp},
journal= {arXiv preprint arXiv:2302.14242},
year = {2023}
}