任意 $p$ 范数下的解耦权重衰减

随着深度神经网络在多个领域的成功，训练和部署大型神经网络的计算和存储需求已成为瓶颈。稀疏化因此成为解决这些问题的主要方法之一。本文考虑一种简单而有效的稀疏化方法，基于在训练过程中对 $L_p$ 正则化的桥接。我们引入一种新的权重衰减方案，将标准的 $L_2$ 权重衰减推广到任意 $p$ 范数。我们证明了该方案与自适应优化器兼容，避免了 $0<p<1$ 范数引起的梯度发散。我们经验性地展示，它导致高度稀疏的网络，同时保持与标准 $L_2$ 正则化相当的泛化性能。