利用正交区被动下降算法训练 L1 正则化模型
机器学习
2018-02-23 v3 机器学习
摘要
正则化模型广泛用于对稀疏回归或分类任务。在本文中，我们提出正交区被动下降算法（OPDA）用于优化 正则化模型，作为近端算法（当今优化这些模型的标准工具）的改进替代。OPDA 使用随机方差缩减梯度（SVRG）来初始化下降方向，然后应用一种新颖的对齐算子以鼓励每个元素在一次更新迭代后保持相同符号，从而参数保持在先前相同的正交区（orthant）。它还显式抑制每个元素的大小以施加稀疏性。可利用拟牛顿更新来合并曲率信息并加速速度。我们证明了 OPDA 在一般平滑且强凸损失函数上的线性收敛速率。通过在 正则化逻辑回归和卷积神经网络上进行实验，我们表明 OPDA 优于最先进的随机近端算法，意味着在训练稀疏模型方面具有广泛应用。
引用
@article{arxiv.1704.07987,
title = {Training L1-Regularized Models with Orthant-Wise Passive Descent Algorithms},
author = {Jianqiao Wangni},
journal= {arXiv preprint arXiv:1704.07987},
year = {2018}
}
备注
Accepted to The Thirty-Second AAAI Conference on Artificial Intelligence (AAAI-18). Feb 2018, New Orleans