深度强化学习中稀疏训练的现状
机器学习
2022-06-22 v1 人工智能
摘要
近年来，稀疏神经网络的使用快速增长，尤其在计算机视觉中。其吸引力主要来自训练和存储所需参数数量的减少，以及学习效率的提升。有些令人惊讶的是，探索其在深度强化学习（DRL）中使用的努力甚少。本工作中，我们对多种现有稀疏训练技术应用于各类 DRL 智能体和环境的情形进行了系统性研究。我们的结果证实了计算机视觉领域稀疏训练的发现——在相同参数数量下稀疏网络优于稠密网络——在 DRL 领域同样成立。我们详细分析了 DRL 中各组件如何受稀疏网络使用的影响，并最后提出了提升稀疏训练方法有效性以及推进其在 DRL 中应用的有前景方向。
引用
@article{arxiv.2206.10369,
title = {The State of Sparse Training in Deep Reinforcement Learning},
author = {Laura Graesser and Utku Evci and Erich Elsen and Pablo Samuel Castro},
journal= {arXiv preprint arXiv:2206.10369},
year = {2022}
}
备注
Proceedings of the 39th International Conference on Machine Learning (ICML'22)