基于 Frequent Directions 的岭回归：统计与优化视角
机器学习
2020-11-10 v1 数据结构与算法
机器学习
摘要
尽管 Frequent Directions（FD）拥有令人印象深刻的理论与实践表现，其尚未被广泛应用于大规模回归任务。已有工作表明随机草图（i）在估计数据协方差矩阵上劣于 FD；（ii）在估计草图岭回归的偏差和/或方差时产生高误差。我们给出了使用 FD 的草图岭回归在偏差与方差上的首个常数因子相对误差界。我们辅以统计结果，表明 FD 可通过迭代格式用于优化设定，从而得到高精度解。这改进了需在每轮迭代重新草图与收敛速度间折中的随机方法。在两种设定下，我们还表明使用 Robust Frequent Directions 可进一步提升性能。
引用
@article{arxiv.2011.03607,
title = {Ridge Regression with Frequent Directions: Statistical and Optimization Perspectives},
author = {Charlie Dickens},
journal= {arXiv preprint arXiv:2011.03607},
year = {2020}
}