AutoEG：面向离策略深度强化学习的自动化经验嫁接
机器学习
2020-04-24 v2 人工智能
摘要
深度强化学习(RL)算法常常需要 prohibitive的交互经验以保证所学策略的质量。这一局限部分源于智能体在学习的早期阶段无法从许多低质量试验中学到太多东西，导致学习率低下。针对该局限，本文做出两方面贡献。首先，我们开发了称为经验嫁接(EG)的算法，使RL智能体能够从经验池中重组少数高质量轨迹的片段以生成许多合成轨迹，同时保持质量。其次，基于EG，我们进一步开发了AutoEG智能体，可自动学习调整基于嫁接的学习策略。从一组六个机器人控制环境中收集的结果表明，与标准深度RL算法(DDPG)相比，AutoEG将学习过程速度提升了至少30%。
引用
@article{arxiv.2004.10698,
title = {AutoEG: Automated Experience Grafting for Off-Policy Deep Reinforcement Learning},
author = {Keting Lu and Shiqi Zhang and Xiaoping Chen},
journal= {arXiv preprint arXiv:2004.10698},
year = {2020}
}