带协变量过滤的鲁棒回归：重尾与对抗污染
统计理论
2021-05-18 v2 机器学习
机器学习
统计理论
摘要
我们研究线性回归问题，其中协变量与响应变量均可能(i)重尾且(ii)遭受对抗污染。针对协变量为亚高斯且无污染的更简单设定，已有若干计算高效的估计量被提出；然而，当协变量为重尾或含异常值时，这些估计量可能失效。本工作中，我们展示如何改进Huber回归、最小截断平方和与最小绝对偏差估计量，以在更强的污染模型下获得同时具备计算与统计效率的估计量。我们的方法十分简单，包括对协变量应用过滤算法，然后将经典鲁棒回归估计量应用于剩余数据。我们证明Huber回归估计量在此设定下达到近最优误差率，而最小截断平方和与最小绝对偏差估计量在施加后处理步骤后可达到近最优误差。
引用
@article{arxiv.2009.12976,
title = {Robust regression with covariate filtering: Heavy tails and adversarial contamination},
author = {Ankit Pensia and Varun Jog and Po-Ling Loh},
journal= {arXiv preprint arXiv:2009.12976},
year = {2021}
}
备注
V2: Adds new results for unknown covariance matrix (Theorem 3.13), Gaussian design (Remark 3.12), and Simulations (Section 7)