鲁棒频繁方向及其在在线学习中的应用
机器学习
2019-02-26 v3
摘要
频繁方向（FD）技术是一种用于在线草图绘制的确定性方法，在机器学习中有许多应用。传统的FD是一种启发式过程，常输出秩亏矩阵。为克服秩亏问题，我们通过引入正则化项提出了一种称为鲁棒频繁方向（RFD）的新草图策略。RFD可从一个优化问题导出。它自适应且联合地更新草图矩阵和正则化项。RFD在不会增加计算成本的情况下降低了FD的近似误差。我们还将RFD应用于在线学习，提出了一种有效的无超参数在线牛顿算法。我们基于RFD推导了该在线牛顿算法的后悔界，保证了算法的鲁棒性。实验研究表明，所提方法优于最先进的二阶在线学习算法。
引用
@article{arxiv.1705.05067,
title = {Robust Frequent Directions with Application in Online Learning},
author = {Luo Luo and Cheng Chen and Zhihua Zhang and Wu-Jun Li and Tong Zhang},
journal= {arXiv preprint arXiv:1705.05067},
year = {2019}
}
备注
Journal of Machine Learning Research 2019, Accepted