面向稀疏在线学习的筛选
机器学习
2022-11-14 v2 最优化与控制
摘要
促进稀疏的正则化器被广泛用于向监督学习的回归系数施加低复杂度结构（例如用于稀疏性的l1范数）。在确定性优化领域，迭代算法（如近端梯度下降）生成的序列表现出“有限活动识别”，即它们能在有限次迭代内识别出低复杂度结构。然而，大多数在线算法（如近端随机梯度下降）由于步长衰减和非零方差而不具备该性质。在本文中，通过结合筛选规则，我们展示了如何消除在线算法生成的迭代中的无用特征，从而强制实现有限活动识别。一个结果是，当与任何收敛的在线算法结合时，正则化器所施加的稀疏性可被利用以获得计算增益。在数值上，可获得显著的加速。
引用
@article{arxiv.2101.06982,
title = {Screening for Sparse Online Learning},
author = {Jingwei Liang and Clarice Poon},
journal= {arXiv preprint arXiv:2101.06982},
year = {2022}
}