论经验风险最小化的最小误差
统计理论
2021-02-25 v1 机器学习
机器学习
统计理论
摘要
我们研究了经验风险最小化(ERM)过程在回归任务中的最小误差,包括随机设计与固定设计两种情形。我们给出的紧下界阐明了适应数据生成模型之简单性的可能性(或不可能性)。在固定设计情形下,我们表明误差由整个类的全局复杂度所支配。相反,在随机设计中,仅当回归函数附近的局部邻域几乎与类本身一样复杂时,ERM才可能适应更简单的模型,这是一个有些反直觉的结论。我们给出了ERM在Donsker类与非Donsker类上性能的紧下界。我们还通过近期关于过参数化模型中插值的研究视角来讨论我们的结果。
引用
@article{arxiv.2102.12066,
title = {On the Minimal Error of Empirical Risk Minimization},
author = {Gil Kur and Alexander Rakhlin},
journal= {arXiv preprint arXiv:2102.12066},
year = {2021}
}