论经验风险最小化的方差、可接受性与稳定性

众所周知，经验风险最小化（ERM）在均方误差意义上可能达到极小极大次优速率（Birgé 与 Massart，1993）。在本文中，我们证明在相对温和的假设下，ERM 的次优性必源于其较大的偏差。即，ERM 的方差误差项被极小极大速率所界。在固定设计设定下，我们使用概率方法给出该结果的一个初等证明。随后，我们将证明推广至随机设计设定下的多种模型。此外，我们给出 Chatterjee 可接受性定理（Chatterjee，2014，定理 1.4）的一个简单证明，该定理指出在固定设计设定下，ERM 不能被排除为最优方法，然后我们将该结果推广至随机设计设定。我们还表明，我们的估计蕴含 ERM 的稳定性，补充了 Caponnetto 与 Rakhlin（2006）针对非 Donsker 类的主结果。最后，我们通过展示在 $L_2$ 距离上函数可接近于 ERM，同时仍远离经验损失的近似极小化子，来凸显 ERM 在非 Donsker 情形下损失景观的某种不规则性。