$L_2$-正则化经验风险最小化保证小光滑校准误差

对预测概率的校准对于可靠的机器学习至关重要，但标准训练程序如何产生良好校准模型却鲜为人知。本工作首次提供了理论证明，表明标准的 $L_{2}$-正则化经验风险最小化直接控制光滑校准误差（smCE），无需后验纠正或专门的校准促进正则化器。我们基于优化误差、正则化强度和 Rademacher 复杂度，建立了 smCE 的有限样本泛化界限。随后我们针对再现核希尔伯特空间中的模型进行实例化，推导了具体的核岩回归和逻辑回归的保证。我们的实验确认了这些具体保证，表明 $L_{2}$-正则化 ERM 能够在不增加或后验校准的情况下提供良好校准模型。所有实验的源代码可在 https://github.com/msfuji0211/erm_calibration 提供。