中文

鲁棒线性预测:均匀集中性、快速收敛率与模型误设定的分析

机器学习 2022-03-15 v2 机器学习 统计理论 统计理论

摘要

线性预测问题在过去一个世纪中已在相当通用的框架下被广泛研究。鲁棒统计文献的最新进展使我们能够通过中位数均值(Median of Means, MoM)的视角分析经典线性模型的鲁棒版本。以拼凑方式结合这些方法可能导致临时性的过程,且支撑各个独立贡献的受限理论结论可能不再成立。为连贯地应对这些挑战,本研究提供一个统一的鲁棒框架,其包含希尔伯特空间上广泛的线性预测问题以及一类通用的损失函数。值得注意的是,我们不对离群数据点(O\mathcal{O})的分布以及内点数据(I\mathcal{I})支撑的紧性作任何假设。在对偶范数的温和条件下,我们证明对于误设定水平 ϵ\epsilon,这些估计量达到 O(max{O1/2n1/2,I1/2n1}+ϵ)O(\max\left\{|\mathcal{O}|^{1/2}n^{-1/2}, |\mathcal{I}|^{1/2}n^{-1} \right\}+\epsilon) 的误差率,与文献中已知最优速率一致。该速率略慢于经典的 O(n1/2)O(n^{-1/2}) 速率,表明为获得鲁棒估计需在误差率上付出代价。此外,我们展示在附加假设下该速率可改进以达到所谓的“快速率”。

关键词

引用

@article{arxiv.2201.01973,
  title  = {Robust Linear Predictions: Analyses of Uniform Concentration, Fast Rates and Model Misspecification},
  author = {Saptarshi Chakraborty and Debolina Paul and Swagatam Das},
  journal= {arXiv preprint arXiv:2201.01973},
  year   = {2022}
}