初始化时剪枝——一种草图视角
机器学习
2025-11-12 v2 计算机视觉与模式识别
摘要
彩票假设（LTH）增加了在初始化时剪枝神经网络的关注。我们在线性设定下研究此问题。我们表明，在初始化时寻找稀疏掩码等价于为高效矩阵乘法而引入的草图问题。这为我们提供了分析LTH问题并从中获得洞见的工具。具体而言，利用初始化时找到的掩码，我们界定了训练结束时剪枝线性模型的近似误差。我们从理论上证明了先前关于稀疏网络搜索可能与数据无关的经验证据。通过使用草图视角，我们建议对现有的初始化时剪枝算法进行通用改进，并展示其在数据无关情形下的益处。
引用
@article{arxiv.2305.17559,
title = {Pruning at Initialization -- A Sketching Perspective},
author = {Noga Bar and Raja Giryes},
journal= {arXiv preprint arXiv:2305.17559},
year = {2025}
}