非平稳数据流背景下Lasso模型的自适应正则化
机器学习
2017-12-15 v2 机器学习
摘要
大规模流式数据集在现代机器学习中无处不在。流式算法必须具备可扩展性、适于增量训练并对非平稳性具有鲁棒性。本文考虑在流式数据背景下学习正则化线性模型的问题。特别地，本工作的焦点围绕当数据顺序到达且底层分布非平稳时（意味着最优正则化参数的选择本身随时间变化）如何选择正则化参数。我们提出了一个推断自适应正则化参数的框架。我们的方法采用惩罚约束，其中相应的稀疏参数通过随机梯度下降迭代更新。这将正则化参数的选择重新表述为在线学习中的一个原则性框架。所提方法针对线性回归推导，随后推广至广义线性模型。我们使用模拟和真实数据集验证该方法，并给出了在神经影像数据集上的应用。
引用
@article{arxiv.1610.09127,
title = {Adaptive regularization for Lasso models in the context of non-stationary data streams},
author = {Ricardo Pio Monti and Christoforos Anagnostopoulos and Giovanni Montana},
journal= {arXiv preprint arXiv:1610.09127},
year = {2017}
}
备注
20 pages, 3 figures. arXiv admin note: text overlap with arXiv:1511.02187