随机设计下的岭回归分析
统计理论
2014-03-26 v2 人工智能
机器学习
机器学习
统计理论
摘要
本工作在协变量/响应分布的温和假设下，同时对普通最小二乘估计量和岭回归估计量在随机设计设定下进行了分析。特别地，该分析提供了关于“样本外”预测误差的精确结果，而非“样本内”（固定设计）误差。分析还揭示了估计协方差结构中的误差以及建模误差的影响，这两种影响在固定设计设定中均不存在。主要结果的证明基于一个简单的分解引理，并结合了随机向量和矩阵的集中不等式。
引用
@article{arxiv.1106.2363,
title = {Random design analysis of ridge regression},
author = {Daniel Hsu and Sham M. Kakade and Tong Zhang},
journal= {arXiv preprint arXiv:1106.2363},
year = {2014}
}