显式分组稀疏投影及其在深度学习与 NMF 中的应用
机器学习
2025-12-25 v4 信号处理
机器学习
摘要
我们设计了一种针对一组向量的新的稀疏投影方法，该方法利用流行的 Hoyer 度量（ 与 范数之比的仿射函数）保证所需的平均稀疏水平。现有方法要么逐个投影每个向量，要么需要使用一个正则化参数来隐式映射到平均 稀疏度量。相反，在我们的方法中，我们显式地设定整组向量的稀疏水平，并同时投影一组向量，其中每个向量的稀疏水平自动调节。我们证明了我们的投影算子的计算复杂度在问题规模上是线性的。此外，我们用加权版本的 范数替代原 范数，提出了该投影的一种推广。我们在包括 CIFAR10 和 ImageNet 在内的图像数据集上的监督与无监督学习任务中展示了我们方法的有效性。在深度神经网络剪枝中，我们的方法在 ResNet50 上产生的稀疏模型在相应稀疏度下相比现有竞争对手具有显著更高的准确率。在非负矩阵分解中，我们的方法相比最先进算法产生了具有竞争力的重构误差。
引用
@article{arxiv.1912.03896,
title = {Explicit Group Sparse Projection with Applications to Deep Learning and NMF},
author = {Riyasat Ohib and Nicolas Gillis and Niccolò Dalmasso and Sameena Shah and Vamsi K. Potluru and Sergey Plis},
journal= {arXiv preprint arXiv:1912.03896},
year = {2025}
}
备注
20 pages, 10 figures; major revisions; affiliation corrected, grant added