信任但验证：高维中最小二乘重拟合的利弊
统计方法学
2013-06-04 v1 统计理论
统计理论
摘要
最小二乘重拟合广泛用于高维回归，以减少 l1 惩罚估计量（例如 Lasso 和 Square-Root Lasso）的预测偏差。我们提供了理论和数值结果，以深入洞察最小二乘重拟合的利弊。特别是，我们同时考虑了预测和估计，并密切关注线性回归模型设计矩阵中相关性的影响，因为这些相关性虽然常被忽视，但在高维背景下的线性回归中至关重要。首先，我们证明了最小二乘重拟合的益处强烈依赖于所考虑的设置和任务：对于具有高度相关设计矩阵的设置，最小二乘重拟合可能是有益的，但并不适用于所有设置；且最小二乘重拟合可能对估计有益，但在预测方面表现更好。最后，我们引入了一个准则，用于指示在特定设置和任务下是否建议进行最小二乘重拟合，并进行了涉及 Lasso 的详尽模拟研究以展示该准则的实用性。
引用
@article{arxiv.1306.0113,
title = {Trust, but verify: benefits and pitfalls of least-squares refitting in high dimensions},
author = {Johannes Lederer},
journal= {arXiv preprint arXiv:1306.0113},
year = {2013}
}