OLS 对样本移除的鲁棒性：理论分析与启示

为了使学习到的模型值得信赖，验证它们对训练数据扰动的鲁棒性至关重要。经典方法涉及通过置信区间和自助法进行不确定性量化。相比之下，近期的工作提出了一种更严格的鲁棒性形式：对从训练集中移除任意 $k$ 个样本子集的稳定性。在本文中，我们对普通最小二乘法（OLS）的这一准则进行了理论研究。我们的贡献如下：(1) 给定来自一般错误设定模型的 $n$ 个独立同分布训练样本，我们证明在大概率下，OLS 对移除任意 $k \ll n$ 个样本具有鲁棒性。(2) 对于维度为 $p$ 的数据，OLS 能够承受多达 ${k\ll \sqrt{np}/\log n}$ 个样本的移除，同时保持鲁棒性并达到与应用于完整数据集的 OLS 相同的误差率。反之，如果 $k$ 与 $n$ 成正比，则可证明 OLS 不具备鲁棒性。(3) 我们重新审视了先前发现几个计量经济学数据集对样本移除高度不鲁棒的分析。虽然这似乎与我们在 (1) 中的结果相矛盾，但我们证明这种敏感性是由于重尾响应或相关样本造成的。在经验上，这种敏感性可以通过经典的鲁棒方法（例如使用 Huber 损失的线性回归）显著减弱。