最小化人工辅助：增强单条演示以用于深度强化学习
机器学习
2023-03-21 v2 机器人学
摘要
在强化学习中使用人类演示已被证明能显著提升智能体性能。然而，任何要求人类手动“教导”模型的需求都与强化学习的目标有所相悖。本文试图在保留性能优势的同时最小化人类在学习过程中的参与，通过使用一条通过简易虚拟现实仿真收集的人类示例来辅助强化学习训练。我们的方法增强单条演示以生成大量类人演示，当其与深度确定性策略梯度与后见经验回放（DDPG + HER）结合时，显著缩短了简单任务的训练时间，并使智能体能够解决 DDPG + HER 单独无法解决的复杂任务（积木堆叠）。该模型利用单条人类示例即获得了显著的训练优势，所需人类输入不到一分钟。此外，尽管从人类示例中学习，智能体并不受限于人类水平的表现，常学习到与人类演示显著不同的策略。
引用
@article{arxiv.2209.11275,
title = {Minimizing Human Assistance: Augmenting a Single Demonstration for Deep Reinforcement Learning},
author = {Abraham George and Alison Bartsch and Amir Barati Farimani},
journal= {arXiv preprint arXiv:2209.11275},
year = {2023}
}
备注
7 pages, 10 figures, ICRA 2023 (accepted)