签名超级掩码：保留、隐藏、反转

过去几年中，神经网络参数数量的指数增长伴随着在多个领域性能的提升。然而，由于其庞大的规模，网络不仅变得难以解释，而且在实际应用中难以训练和使用，因为硬件要求也相应增加。为了解决这两个问题，我们提出了一种新颖的方法，要么丢弃神经网络的初始权重，要么反转它们各自的符号。简而言之，网络通过权重选择和反转进行训练，而不改变其绝对值。我们的贡献扩展了先前关于掩码的工作，通过额外对初始权重进行符号反转，并遵循彩票假设的发现。通过这一扩展和初始化方法的调整，我们实现了高达99%的剪枝率，同时仍然匹配或超越各种基线和先前的模型。我们的方法有两个主要优势。首先，也是最显著的，签名的Supermask模型极大地简化了模型的结构，同时在给定任务上表现良好。其次，通过将神经网络还原至其基础，我们深入了解了哪些权重对性能至关重要。代码可在GitHub上获取。