草图岭回归：优化视角、统计视角与模型平均
机器学习
2018-05-08 v4 机器学习
数值分析
摘要
我们探讨了用于近似求解矩阵岭回归（MRR）问题的经典草图和 Hessian 草图的统计和优化影响。先前的研究已量化了经典草图对严格更简单的最小二乘回归（LSR）问题的影响。我们确定经典草图对 MRR 的优化性质具有与对 LSR 类似的影响：即它恢复近乎最优的解。相比之下，Hessian 草图没有此保证，相反，其近似误差由响应中的“质量”与最优目标值之间的微妙相互作用所控制。对于两种类型的近似，草图 MRR 问题中的正则化导致与草图 LSR 问题显著不同的统计性质。特别地，草图 MRR 中存在草图 LSR 所没有的偏差-方差权衡。我们提供了草图 MRR 的偏差和方差的上下界，这些界限表明经典草图显著增加了方差，而 Hessian 草图显著增加了偏差。经验上，草图 MRR 解的风险可能比最优 MRR 解的风险高一个数量级。我们从理论和经验上证实，模型平均极大地减小了 MRR 问题的真实解与草图解之间风险的差距。因此，在并行或分布式环境中，草图与模型平均相结合是一种强大的技术，可快速获得 MRR 问题的近最优解，同时大大减轻草图引起的统计风险增加。
引用
@article{arxiv.1702.04837,
title = {Sketched Ridge Regression: Optimization Perspective, Statistical Perspective, and Model Averaging},
author = {Shusen Wang and Alex Gittens and Michael W. Mahoney},
journal= {arXiv preprint arXiv:1702.04837},
year = {2018}
}
备注
To appear in Journal of Machine Learning Research, 2018. A short version has appeared in International Conference on Machine Learning (ICML), 2017