深度强化学习的网络稀疏性：解锁规模化潜力

深度强化学习模型的规模化训练一直致命困难，由于训练期间的网络病态现象，催生了各种针对性干预措施，如定期重置和架构进步如层归一化。本文表明，仅引入静态网络稀疏性即可超越其稠密对应项的规模潜力，这通过简单的一次性随机剪枝实现，即在训练前移除预定比例的网络权重。我们的分析揭示，与盲目扩大稠密DRL网络不同，稀疏网络实现了更高的参数效率以提升网络表达能力，同时对抗优化挑战如塑性损失和梯度干扰表现出更强鲁棒性。我们进一步将评估扩展到视觉和流式RL场景，证明了网络稀疏性的持久优势。