ONG：基于单次 NMF 的梯度遮蔽，用于高效模型稀疏化
计算机视觉与模式识别
2025-08-19 v1
摘要
深度神经网络(DNN)已取得显著成功，但其大规模参数在部署中构成挑战。虽然存在各种剪枝技术，但许多涉及复杂迭代过程、专业准则，或在训练期间难以有效维持稀疏性。我们引入ONG(One-shot NMF-based Gradient Masking)，一种新颖的稀疏化策略，通过非负矩阵分解(NMF)识别显著权重结构，在训练初期实现一次性剪枝。随后，ONG采用精确的梯度遮蔽机制，确保仅更新未剪枝权重，严格保持目标稀疏率。我们将ONG集成到BIMP比较框架中，在ResNet56、ResNet34和ResNet18上评估CIFAR-10和CIFAR-100。我们的实验表明，ONG在各种稀疏率下均能实现与或优于现有稳健稀疏化方法的性能，同时保持剪枝后的结构完整性，并提供针对目标稀疏率的明确机制。
引用
@article{arxiv.2508.12891,
title = {ONG: One-Shot NMF-based Gradient Masking for Efficient Model Sparsification},
author = {Sankar Behera and Yamuna Prasad},
journal= {arXiv preprint arXiv:2508.12891},
year = {2025}
}
备注
7 pages