GST：用于加速深度强化学习的组稀疏训练
机器学习
2021-01-26 v1
摘要
深度强化学习（DRL）在序贯决策问题中取得了显著成功，但为获得如此好的性能需要很长的训练时间。许多并行和分布式 DRL 训练方法已被提出来解决该问题，但难以在资源受限设备上利用它们。为了在真实世界边缘设备中加速 DRL，必须解决由大权重传输引起的内存带宽瓶颈。然而，以往的迭代剪枝不仅在训练初期表现出低压缩比，还会使 DRL 训练不稳定。为克服这些缺点，我们提出了一种用于 DRL 训练加速的新型权重压缩方法，称为组稀疏训练（GST）。GST 选择性地利用块循环压缩以在 DRL 训练的所有迭代中保持高压缩比，并通过奖励感知剪枝动态适应目标稀疏度以实现稳定训练。得益于这些特性，在 Mujoco Halfcheetah-v2 和 Mujoco humanoid-v2 环境使用 TD3 训练时，GST 比迭代剪枝方法实现了高 25 \%p 41.5 \%p 的平均压缩比且无奖励下降。
引用
@article{arxiv.2101.09650,
title = {GST: Group-Sparse Training for Accelerating Deep Reinforcement Learning},
author = {Juhyoung Lee and Sangyeob Kim and Sangjin Kim and Wooyoung Jo and Hoi-Jun Yoo},
journal= {arXiv preprint arXiv:2101.09650},
year = {2021}
}
备注
10 pages, 10 figures, CVPR 2021 Submitted