通过存储嵌入提升视觉强化学习的计算效率
机器学习
2021-10-29 v2 计算机视觉与模式识别
摘要
离策略深度强化学习（RL）的最新进展在基于视觉观测的复杂任务中取得了令人瞩目的成功。经验回放通过复用过往经验提升了样本效率，而卷积神经网络（CNNs）能有效处理高维输入。然而，此类技术对内存与计算带宽需求很高。本文提出用于高效强化学习的存储嵌入（SEER），对现有离策略 RL 方法的一种简单改进，以应对这些计算与内存需求。为降低 CNN 中梯度更新的计算开销，由于底层参数较早收敛，我们在训练早期冻结 CNN 编码器的低层。此外，我们通过存储用于经验回放的低维潜向量而非高维图像来降低内存需求，从而能够自适应增大回放缓冲容量，这一技术在内存受限环境下十分有用。在我们的实验中，我们表明 SEER 在 DeepMind Control 多种环境与 Atari 游戏中，在显著节省计算与内存的同时不降低 RL 智能体的性能。
引用
@article{arxiv.2103.02886,
title = {Improving Computational Efficiency in Visual Reinforcement Learning via Stored Embeddings},
author = {Lili Chen and Kimin Lee and Aravind Srinivas and Pieter Abbeel},
journal= {arXiv preprint arXiv:2103.02886},
year = {2021}
}