对角线性网络与 Lasso 正则化路径

对角线性网络是具有线性激活和对角权重矩阵的神经网络。其理论意义在于，其隐式正则化可以被严格分析：从小初始化开始，对角线性网络的训练会收敛到训练损失极小值解中具有最小 1-范数的线性预测器。在本文中，我们深化了这一分析，表明对角线性网络的完整训练轨迹与 lasso 正则化路径密切相关。在这种联系中，训练时间扮演了逆正则化参数的角色。我们提供了严格的结果和模拟来说明这一结论。在 lasso 正则化路径的单调性假设下，这种联系是精确的，而在一般情况下，我们展示了近似的联系。