一类具有强理论界的新颖提升在线回归算法
统计理论
2016-12-07 v2 信息论
math.IT
统计理论
摘要
我们研究提升在线回归，并提出一类具有强理论界的新型回归算法。此外，我们实现了所提通用算法的若干变体。我们具体给出了所提算法性能的理论界，这些界在严格的数学意义下成立。我们在不对期望数据或特征向量作任何统计假设的情况下，实现了相对于传统在线回归方法的性能改进保证。我们展示了自适应专家混合与数据复用算法之间在提升意义上的内在联系。此外，我们引入一种基于随机更新的提升算法，其速度显著快于传统提升方法以及我们所提算法的其他变体，同时获得增强的性能增益。因此，随机更新方法特别适用于快速高维流式数据。具体地，我们在专家混合设定下研究基于牛顿法和随机梯度下降的线性回归算法，并给出这些知名自适应方法的若干变体。然而，所提算法可扩展至其他基学习器，例如非线性、基于树的分段线性。此外，我们给出所提算法计算复杂度的理论界。通过大量基准真实数据集和模拟示例，我们展示了相对于基学习器在均方误差方面的显著性能提升。
引用
@article{arxiv.1601.00549,
title = {A Novel Family of Boosted Online Regression Algorithms with Strong Theoretical Bounds},
author = {Dariush Kari and Farhan Khan and Selami Ciftci and Suleyman Serdar Kozat},
journal= {arXiv preprint arXiv:1601.00549},
year = {2016}
}