用于迭代幅值剪枝的多粒子稀疏权重平均

鉴于现代神经网络规模不断增长，稀疏架构因其加速的推理速度和极低的内存需求而重要性骤增。在全局剪枝技术方面，迭代幅值剪枝（IMP）尽管形式简单，仍是最先进的算法，尤其在极稀疏情形下。鉴于近期发现两个连续的匹配 IMP 解在无损失屏障的情况下线性连接，我们提出了多粒子稀疏权重平均（SWAMP），这是对 IMP 的直接改进，可实现与两个 IMP 解集成相当的性能。在每次迭代中，我们使用不同的批次顺序但相同的匹配票，并发训练多个称为粒子的稀疏模型，然后对这些模型进行权重平均以生成单一掩码。我们通过在不同数据和神经网络结构上的大量实验证明，我们的方法在不同稀疏度下始终优于现有基线。