OptG：优化网络稀疏性中的梯度驱动准则

网络稀疏性因其降低网络复杂度的能力而广受欢迎。大量研究挖掘了梯度驱动的稀疏性。典型地，这些方法构建于权重独立的假设之上，然而这与权重相互影响的实情相悖。因此，它们的性能仍有待提升。本文中，我们提出通过解决这一独立性悖论来优化梯度驱动的稀疏性（OptG）。我们的动机源于超掩码训练的最新进展，其表明可通过仅更新掩码值而不修改任何权重来定位高性能稀疏子网络。我们证明超掩码训练是对被移除和保留权重的梯度驱动稀疏性准则的累积，且它能部分解决独立性悖论。进而，OptG 将超掩码训练整合进梯度驱动稀疏性，并进一步提出一种新颖的超掩码优化器以全面缓解独立性悖论。实验表明，OptG 能很好地超越许多现有的最先进竞争者，尤其在极高稀疏度水平下。我们的代码可在 \url{https://github.com/zyxxmu/OptG} 获取。