掩码、符号与学习率回退

学习率回退 (LRR) 已被确立为迭代幅度剪枝 (IMP) 的一种强变体，用于在深度过参数化神经网络中寻找彩票假设。虽然两种迭代剪枝方案都耦合了结构和参数学习，但理解 LRR 如何在这两方面表现出色，可以使我们更接近设计出能够优化多样化稀疏架构集的更灵活深度学习算法。为此，我们进行了实验，解耦了掩码学习和参数优化的效果，以及两者如何从过参数化中受益。LRR 早期翻转参数符号并对符号扰动保持鲁棒的能力，似乎使其不仅在掩码识别方面更有效，而且在优化多样化掩码集（包括随机掩码）方面也更有效。为了支持这一假设，我们在简化的单隐藏神经元设置中证明了 LRR 比 IMP 在更多情况下成功，因为它可以逃脱初始有问题的符号配置。