通过连续松弛伯努利门发现中奖彩票
机器学习
2026-03-11 v1 人工智能
摘要
过度参数化的神经网络在资源受限的部署中会产生高昂的内存和计算成本。强彩票（SLT）假设表明，随机初始化的网络包含稀疏子网络，无需权重训练即可实现有竞争力的精度。现有的SLT方法，特别是edge-popup，依赖于不可微的基于分数的选择，限制了优化效率和可扩展性。我们提出使用连续松弛的伯努利门来通过完全可微的端到端优化发现SLT——仅训练门控参数，同时将所有网络权重冻结在其初始值。连续松弛使得可以直接基于梯度的正则化目标优化，无需不可微的梯度估计器或迭代剪枝循环。据我们所知，这是第一个完全可微的SLT发现方法，避免了直通估计器近似。在完全连接网络、CNN（ResNet、Wide-ResNet）和视觉Transformer（ViT、Swin-T）上的实验表明，在最小精度损失的情况下实现了高达90%的稀疏度——在可比精度下，几乎是edge-popup实现的稀疏度的两倍——为预训练网络稀疏化建立了一个可扩展的框架。
引用
@article{arxiv.2603.08914,
title = {Uncovering a Winning Lottery Ticket with Continuously Relaxed Bernoulli Gates},
author = {Itamar Tsayag and Ofir Lindenbaum},
journal= {arXiv preprint arXiv:2603.08914},
year = {2026}
}