关于最小范数插值器与正则化经验风险最小化器的鲁棒性
统计理论
2021-10-08 v3 信息论
数值分析
math.IT
数值分析
机器学习
统计理论
摘要
本文针对线性模型中在存在加性、潜在对抗性误差的情况下的最小范数插值估计量与正则化经验风险最小化器（RERM）发展了一套一般理论。特别地，不对误差施加任何条件。我们给出了预测误差的定量界，将其与协变量的 Rademacher 复杂度、误差的最小范数插值器的范数以及真实参数周围次微分的大小相关联。该一般理论针对高斯特征与若干范数进行了说明：即 、、group Lasso 与核范数。在稀疏性或低秩诱导范数的情形下，只要过参数化至少比样本数大对数因子，且对于 RERM 正则化参数足够小，最小范数插值器与 RERM 产生的预测误差为平均噪声水平的量级。显示结果近最优性的下界补充了该分析。
引用
@article{arxiv.2012.00807,
title = {On the robustness of minimum norm interpolators and regularized empirical risk minimizers},
author = {Geoffrey Chinot and Matthias Löffler and Sara van de Geer},
journal= {arXiv preprint arXiv:2012.00807},
year = {2021}
}
备注
35 pages