面向离线强化学习的单次剪枝
机器学习
2022-01-03 v1
摘要
深度强化学习（RL）是解决复杂现实问题的强大框架。该框架中所采用的大型神经网络传统上被认为具有更好的泛化能力，但其规模增大会带来训练耗时长、硬件资源需求大以及推理时间更长等缺点。解决此问题的一种方法是对神经网络进行剪枝，仅保留必要参数。最先进的并发剪枝技术在施加稀疏性方面，在固定数据分布的应用中表现显著良好。然而，它们在 RL 领域尚未得到充分探索。我们弥合了 RL 与单次剪枝技术之间的差距，提出了一种面向离线 RL 的通用剪枝方法。我们利用固定数据集在 RL 训练开始之前对神经网络进行剪枝。随后我们开展了实验，改变网络稀疏度水平，并评估初始化时剪枝技术在连续控制任务中的有效性。我们的结果表明，在 95% 的网络权重被剪枝的情况下，Offline-RL 算法仍能在我们大多数实验中保持性能。据我们所知，此前利用 RL 中剪枝的工作从未在如此高的稀疏度下保持性能。此外，初始化时剪枝技术可轻松集成到任何现有的 Offline-RL 算法中，而无需改变学习目标。
引用
@article{arxiv.2112.15579,
title = {Single-Shot Pruning for Offline Reinforcement Learning},
author = {Samin Yeasar Arnob and Riyasat Ohib and Sergey Plis and Doina Precup},
journal= {arXiv preprint arXiv:2112.15579},
year = {2022}
}