稀疏线性模型的高效弹性网络正则化

本文提出一种高效训练具有弹性网络正则化的稀疏线性模型的算法。扩展先前关于延迟更新的工作，新算法仅对非零特征应用随机梯度更新，通过闭式更新按需将权重更新为当前值。先前已描述用于$\ell_1$、$\ell_{\infty}$和很少使用的$\ell_2$正则化器的闭式延迟更新。本文提供流行的平方范数$\ell^2_2$和弹性网络正则化器的闭式更新。我们提供在常数时间内执行每个延迟更新的动态规划算法。新的$\ell^2_2$和弹性网络方法处理固定和变化的学习率，以及标准随机梯度下降(SGD)和前向后向分裂(FoBoS)。实验结果显示在具有$260,941$个特征但每个训练样本平均仅$88$个非零特征的词袋数据集上，动态规划方法训练具有弹性网络正则化的逻辑回归分类器比其它方法快$2000$倍以上。