量化和剪枝对深度强化学习模型的影响
机器学习
2024-07-09 v1 人工智能
摘要
深度强化学习(DRL)在视频游戏、机器人以及最近的大语言模型等多个领域取得了显著成功。然而，DRL模型的计算成本和内存需求常常限制了它们在资源受限环境中的部署。这一挑战凸显了探索神经网络压缩方法以使DRL模型更实用、更广泛适用的迫切需求。我们的研究调查了两种主要压缩方法——量化和剪枝——对DRL模型的影响。我们研究了这些技术如何影响四个性能因素：平均回报、内存、推理时间和电池利用率，涉及多种DRL算法和环境。尽管模型大小减小，但我们发现这些压缩技术通常不会提高DRL模型的能效，但模型大小确实减小了。我们提供了关于模型压缩与DRL性能之间权衡的见解，为在资源受限环境中部署高效的DRL模型提供了指导。
引用
@article{arxiv.2407.04803,
title = {The Impact of Quantization and Pruning on Deep Reinforcement Learning Models},
author = {Heng Lu and Mehdi Alemi and Reza Rawassizadeh},
journal= {arXiv preprint arXiv:2407.04803},
year = {2024}
}