RNM-TD3：N:M 半结构化稀疏强化学习从零开始
机器学习
2026-02-17 v1 硬件体系结构
摘要
稀疏性是已广泛研究的深度神经网络 (DNN) 压缩技术，可在不损失性能的前提下进行压缩。在深度强化学习 (DRL) 中，最多可达原始权重的 5% 的神经网络仍可进行训练，性能损失最小。然而，大多数现有方法依赖非结构化细粒度稀疏性，这限制了硬件加速机会 due to 不规则的计算模式。结构化粗粒度稀疏性可实现硬件加速，但通常会降低性能并增加剪枝复杂度。本文提出，至今最少有研究探讨 N:M 结构化稀疏性在强化学习中的应用，该方法在压缩、性能和硬件效率之间取得平衡。我们的框架在训练期间对所有网络强制执行行级 N:M 稀疏性，保持与支持 N:M 稀疏矩阵运算加速器的兼容性。在连续控制基准测试中表明，RNM-TD3 该 N:M 稀疏智能体在 50%-75% 稀疏率 (如 2:4 和 1:4) 下均优于稠密模型，在 2:4 稀疏率下以 Ant 环境为例，性能提升最高可达 14%。即使在 87.5% 稀疏率 (1:8) 下，RNM-TD3 仍保持竞争力，并可实现潜在的训练加速。
引用
@article{arxiv.2602.14578,
title = {RNM-TD3: N:M Semi-structured Sparse Reinforcement Learning From Scratch},
author = {Isam Vrce and Andreas Kassler and Gökçe Aydos},
journal= {arXiv preprint arXiv:2602.14578},
year = {2026}
}